火花流作业的 OutofMemory 错误

【问题标题】：OutofMemory error for spark streaming job火花流作业的 OutofMemory 错误
【发布时间】：2018-10-12 17:36:10
【问题描述】：

我有一个在 Hortonworks 集群中运行的火花流作业。我通过 yarn 以集群模式运行它，作业显示为在 UI 中运行，但在驱动程序日志中出现以下异常

Exception in thread "JobGenerator" java.lang.OutOfMemoryError: Java heap space

【问题讨论】：

【解决方案1】：

我通过在 spark-submit 命令中指定 driver-memory 解决了这个问题。因为内存问题在驱动程序中

【讨论】：