【发布时间】:2019-07-01 09:27:54
【问题描述】:
我必须编写火花流(createDirectStream API)代码。我每秒将收到大约 90K 条消息,因此尽管为 kafka 主题使用 100 个分区来提高性能。
能否请您告诉我应该使用多少个执行程序?我可以使用 50 个执行器和每个执行器 2 个核心吗?
另外,考虑如果批处理间隔是 10 秒并且 kafka 主题的分区数是 100,我会收到 100 个 RDD,即每个 kafka 分区有 1 个 RDD?在 10 秒的批处理间隔内,每个分区是否只有 1 个 RDD。
谢谢
【问题讨论】:
标签: apache-spark apache-kafka spark-streaming