Spark 作业被杀死：/tmp/spark-driver.log 不存在答案

【问题标题】：Spark job Killed: /tmp/spark-driver.log does not existSpark 作业被杀死：/tmp/spark-driver.log 不存在
【发布时间】：2018-12-06 14:40:27
【问题描述】：

我正在 Cloudera Data Science Workbench 中运行 Spark 作业。有时它运行正常，但有时它会因以下错误而失败：

log4j:ERROR setFile(null,true) call failed. java.io.FileNotFoundException: /tmp/spark-driver.log (Permission denied) at java.io.FileOutputStream.open0(Native Method) at java.io.FileOutputStream.open(FileOutputStream.java:270) at java.io.FileOutputStream.<init>(FileOutputStream.java:213) at java.io.FileOutputStream.<init>(FileOutputStream.java:133) at org.apache.log4j.FileAppender.setFile(FileAppender.java:294) at org.apache.log4j.FileAppender.activateOptions(FileAppender.java:165)

经检查，文件存在： cdsw@jw4l5ll7jj0l3bcy:~$ ls /tmp/spark-driver.log /tmp/spark-driver.log

我已经查看了 Spark UI 日志，但找不到任何其他错误。这是我们发现的唯一错误。已经迫不及待想要得到答案了。任何线索将不胜感激。

谢谢！

【问题讨论】：

标签： pyspark cloudera

【解决方案1】：

错误堆栈跟踪表明您机器上 /tmp 目录的权限问题。您可以参考 Michail N 的以下answer。希望它能解决您的问题。

【讨论】：