【发布时间】:2017-06-21 06:48:20
【问题描述】:
我们使用的是 Spark 1.6 版本,在 Spark-shell 中运行作业时,我们观察到任务正在读取数据但没有将它们写回以完成下表所示的任务
Address TaskTime TotalTask FailedTask succeededtask Shuffle/read Shuffle/write
1 0 0 0 0 188KB/707 0.0B/670
Spark 程序使用 5 个 5 GB 大小的执行器和 3 个内核 请在这里推荐
【问题讨论】:
-
在此处输入您的代码,而不是您的环境
标签: scala apache-spark dataframe rdd