“java.io.IOException: Failed to delete Spark temp dir”是否会影响您的 spark 结果？

Question

我正在使用 spark-submit 运行 spark 作业。在一天结束时，我也得到了一些输出，但日志文件显示

WARN SparkEnv:87 - 删除 Spark 临时目录时出现异常：......

java.io.IOException：删除失败：...

我创建了一个临时目录，并使用 spark-submit 命令将 spark.local.dir 指向了这个新路径

1. 这个异常会影响我的输出吗？
2. 我将在运行其他 spark 作业时使用相同的 tmp 目录。会不会影响他们
3. 无论如何我可以避免这种情况吗？

Answer 1

这在 Windows 上是预期的，您可以忽略它，您可以在 log4j.properties 文件中使用它来禁用警告：

log4j.logger.org.apache.spark.util.ShutdownHookManager=OFF log4j.logger.org.apache.spark.SparkEnv=错误

1. 不，它不会影响您的输出
2. 不会影响其他输出
3. 要么使用 log4j.properties 忽略该消息，要么解决无法删除 tmp 目录的问题。