9 小时后 Spark Streaming 作业失败并出现此错误答案

【问题标题】：Spark Streaming job failure after 9 hours with this error9 小时后 Spark Streaming 作业失败并出现此错误
【发布时间】：2018-10-05 06:05:30
【问题描述】：

我的 Spark Streaming 作业的纱线日志中出现此错误。有关如何调整它的任何建议都会有所帮助。

2018-10-04T23:13:33.496+0000: [GC (Allocation Failure) 2018-10-04T23:13:33.497+0000: [ParNew: 605346K->51088K(629120K), 0.0146063 secs] 4367136K->3824642K(6191580K), 0.0161894 secs] [Times: user=0.16 sys=0.00, real=0.02 secs] 
2018-10-04T23:13:34.501+0000: [GC (Allocation Failure) 2018-10-04T23:13:34.502+0000: [ParNew: 610320K->67154K(629120K), 0.0171408 secs] 4383874K->3854168K(6191580K), 0.0187251 secs] [Times: user=0.21 sys=0.00, real=0.02 secs] 
Heap
 par new generation   total 629120K, used 117091K [0x00007f2c50000000, 0x00007f2c7aaa0000, 0x00007f2cc7990000)
  eden space 559232K,   8% used [0x00007f2c50000000, 0x00007f2c530c4658, 0x00007f2c72220000)
  from space 69888K,  96% used [0x00007f2c72220000, 0x00007f2c763b4868, 0x00007f2c76660000)
  to   space 69888K,   0% used [0x00007f2c76660000, 0x00007f2c76660000, 0x00007f2c7aaa0000)
 concurrent mark-sweep generation total 5562460K, used 3787014K [0x00007f2cc7990000, 0x00007f2e1b1a7000, 0x00007f3b50000000)
 Metaspace       used 106113K, capacity 112552K, committed 129688K, reserved 131072K
End of LogType:stdout

在驱动程序输出中，这是我得到的错误。

java.lang.Exception: Could not compute split, block input-1-1538678764402

【问题讨论】：

标签： apache-spark garbage-collection spark-streaming

【解决方案1】：

您在工作中使用 Java.Maps/Sets 吗？对我来说，这看起来像是您的内存不足。

如果是这种情况，您至少有以下选择：

1) 调整您用于作业的内存设置。每个执行程序的内存可以通过 --executor-memory 标志控制。 2) 使用不同的 Map/Set 实现——如果是 Java，你可以切换到 Trove

希望，这会有所帮助。

【讨论】：

感谢您的建议。我已经开始改变执行者的记忆了。我会及时通知你。