【问题标题】:How many executors should I use for spark streaming我应该使用多少个执行器来进行火花流式传输
【发布时间】:2019-07-01 09:27:54
【问题描述】:

我必须编写火花流(createDirectStream API)代码。我每秒将收到大约 90K 条消息,因此尽管为 kafka 主题使用 100 个分区来提高性能。

能否请您告诉我应该使用多少个执行程序?我可以使用 50 个执行器和每个执行器 2 个核心吗?

另外,考虑如果批处理间隔是 10 秒并且 kafka 主题的分区数是 100,我会收到 100 个 RDD,即每个 kafka 分区有 1 个 RDD?在 10 秒的批处理间隔内,每个分区是否只有 1 个 RDD。

谢谢

【问题讨论】:

    标签: apache-spark apache-kafka spark-streaming


    【解决方案1】:

    真的没有很好的答案,这取决于您的集群中有多少执行程序内存+内核。

    硬性限制是您不能拥有比 kafka 分区更多的总执行程序进程,并且您不想使网络或其他 IO 饱和。

    因此,首先确定您是否使用一个执行程序来限制网络和/或内存/磁盘,然后运行两个,看看吞吐量是否翻倍,网络速率是否在一台机器上减半。然后根据需要横向扩展核心和实例。

    Dropbox recently wrote a blog on their performance testing

    关于 RDD,假设您有一个 executor 实例到分区的 1:1 映射,那么每个 executor 每个间隔将看到 10 秒的数据,只有一个分区,每个 executor 都有自己的 RDD 来处理,因此总共 100每批次处理的 RDD。 IMO,“RDD 的数量”并不太重要,因为每个时间间隔总是得到 1 个 RDD。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2015-07-17
      • 2020-03-26
      • 1970-01-01
      • 2020-08-06
      • 2019-05-05
      • 1970-01-01
      相关资源
      最近更新 更多