在 Windows 上运行 Pyspark 代码时出现 Pycharm 错误

Question

警告 NativeCodeLoader：无法为您的平台加载 native-hadoop 库...在适用的情况下使用内置 java 类 使用 Spark 的默认 log4j 配置文件：org/apache/spark/log4j-defaults.properties 将默认日志级别设置为“WARN”。 要调整日志记录级别，请使用 sc.setLogLevel(newLevel)。对于 SparkR，使用 setLogLevel(newLevel)。 20/05/21 12:55:53 WARN Utils：服务“SparkUI”无法绑定端口 4040。尝试端口 4041。

Answer 1

这只是一个警告，您仍然可以运行 pyspark 代码。从 pycharm 你必须使用 spark-submit 来执行你的代码。当你想使用 REPL 时使用 pyspark。