【问题标题】:How to increase spark streaming receivers如何增加火花流接收器
【发布时间】:2015-06-06 18:03:07
【问题描述】:

我的 spark 流应用程序使用

监视目录

文件流。

如何增加接收者的数量??

【问题讨论】:

    标签: apache-spark spark-streaming


    【解决方案1】:

    监控目录没有其他 Spark Streaming 接收器面临的相同接收器挑战。由于它是一个文件流,Spark 能够使用工作人员直接从文件中读取的标准机制。根据编程指南“每个输入 DStream(除了文件流,本节稍后讨论)都与一个接收器(Scala doc,Java doc)对象相关联,该对象从源接收数据并将其存储在 Spark 的内存中以进行处理。”所以这不用担心:)

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2017-04-27
      • 1970-01-01
      • 2019-06-01
      • 2016-05-01
      • 2019-04-02
      相关资源
      最近更新 更多