【发布时间】:2020-05-17 21:23:03
【问题描述】:
我用 Python 3.7.6 安装了 Spark Apache 2.4.4,这个安装工作,但问题是它给我带来了几个错误,尤其是我想修复的 log4j 错误。 我按照这些说明操作,但仍然显示错误。
" 将 log4j.rootCategory 属性值设置为 WARN,控制台。 保存 log4j.properties 文件。”
【问题讨论】:
标签: python apache-spark
我用 Python 3.7.6 安装了 Spark Apache 2.4.4,这个安装工作,但问题是它给我带来了几个错误,尤其是我想修复的 log4j 错误。 我按照这些说明操作,但仍然显示错误。
" 将 log4j.rootCategory 属性值设置为 WARN,控制台。 保存 log4j.properties 文件。”
【问题讨论】:
标签: python apache-spark
需要下载winutils.exe.Path https://github.com/steveloughran/winutils
这是在 windows 中运行 spark 所必需的。并将其保存在路径中(如果不存在则创建路径) C:\winutils\bin.
参考Spark 1.6-Failed to locate the winutils binary in the hadoop binary path
【讨论】: