【发布时间】:2016-10-28 15:13:45
【问题描述】:
我正在将 spark 流与 kafka 集成,在其中一个阶段中,一个执行器的运行速度比另一个慢得多..
你可以在图片中发现,h10.zw 运行时间为 2.6 分钟,“任务时间”为 52 分钟,这比其他执行器要长得多。但是shuffle read size/shuffle write size是一样的。
我想知道什么是“任务时间”? h10.zw 执行器在做什么?如何平衡所有执行器的运行时间,避免时间倾斜?
【问题讨论】:
-
您能否检查该执行程序上数据的本地性?是否有在该执行人上注册的接收者?
-
总是同一个节点吗?然后,您可以从集群中删除该节点,或者至少可以打开推测,以便自动捕获这种减速并将其定向到新节点。
标签: apache-spark apache-kafka spark-streaming