Apache Spark - 无法为您的平台加载 native-hadoop 库......在适用的情况下使用内置 java 类”并终止执行答案

【问题标题】：Apache Spark -Unable to load native-hadoop library for your platform... using builtin-java classes where applicable" and terminate the executionApache Spark - 无法为您的平台加载 native-hadoop 库......在适用的情况下使用内置 java 类”并终止执行
【发布时间】：2019-02-08 21:21:25
【问题描述】：

我在 Windows 10 64 位机器上使用 Apache Spark。我已经安装了 Java、Python 3.6、spark-2.3.1-bin-hadoop2.7。我正在使用 VSCode 编辑器进行 PySpark 编码。

当我使用 spark-submit 在 VSCode 中执行 Python spark 代码时，它正在显示

无法为您的平台加载 native-hadoop 库... 在适用的情况下使用内置 java 类

并且正在终止执行。

相关代码：

from pyspark import SparkContext, SparkConf 
if name == "main": 
    conf = SparkConf().setAppName("word count").setMaster("local[2]") 
    sc = SparkContext(conf=conf) 
    lines = sc.textFile("in/word_count.text") 
    words = lines.flatMap(lambda line: line.split(" ")) 
    wordcounts = words.countByValue() 
    for word, count in wordcounts.items(): 
        print("{} : {}".format(word,count))

Spark 执行错误：

【问题讨论】：

请将您的代码和异常添加为文本而不是图像。此外，这只是一个警告，不会导致程序终止。如果您可以添加整个代码（假设它不是太大），那将很有帮助，minimal reproducible example。
嗨，我从 windows 命令提示符执行 pyspark 命令时收到相同的警告消息。

标签： apache-spark pyspark

【解决方案1】：

您可以放心地忽略该警告，因为它不是您关闭电话的原因。根据documentation：

本机 hadoop 库仅在 *nix 平台上受支持。该库不适用于 Cygwin 或 Mac OS X 平台。

原生 hadoop 库主要用于 GNU/Linus 平台，并已在这些发行版上进行了测试：

RHEL4/Fedora Ubuntu 琴图在上述所有发行版中，一个 32/64 位原生 hadoop 库将与相应的 32/64 位 jvm 一起使用。

【讨论】：

谢谢，这让人放心。这也适用于 Windows 吗？