【发布时间】:2015-06-06 18:03:07
【问题描述】:
我的 spark 流应用程序使用
监视目录文件流。
如何增加接收者的数量??
【问题讨论】:
标签: apache-spark spark-streaming
我的 spark 流应用程序使用
监视目录文件流。
如何增加接收者的数量??
【问题讨论】:
标签: apache-spark spark-streaming
监控目录没有其他 Spark Streaming 接收器面临的相同接收器挑战。由于它是一个文件流,Spark 能够使用工作人员直接从文件中读取的标准机制。根据编程指南“每个输入 DStream(除了文件流,本节稍后讨论)都与一个接收器(Scala doc,Java doc)对象相关联,该对象从源接收数据并将其存储在 Spark 的内存中以进行处理。”所以这不用担心:)
【讨论】: