【问题标题】:Spark Tasks reading the data but not writing backSpark 任务读取数据但不回写
【发布时间】:2017-06-21 06:48:20
【问题描述】:

我们使用的是 Spark 1.6 版本,在 Spark-shell 中运行作业时,我们观察到任务正在读取数据但没有将它们写回以完成下表所示的任务

Address TaskTime TotalTask FailedTask succeededtask Shuffle/read Shuffle/write
   1       0         0         0            0           188KB/707   0.0B/670

Spark 程序使用 5 个 5 GB 大小的执行器和 3 个内核 请在这里推荐

【问题讨论】:

  • 在此处输入您的代码,而不是您的环境

标签: scala apache-spark dataframe rdd


【解决方案1】:

我已经通过增加集群设置中分区的任务数解决了这个问题

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-11-27
    • 2018-05-27
    • 1970-01-01
    • 2022-10-07
    • 2015-03-14
    • 2017-07-14
    相关资源
    最近更新 更多