Pyspark Mac NativeCodeLoader：无法为您的平台加载 native-hadoop 库......在适用的情况下使用内置 java 类

【问题标题】：Pyspark Mac NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicablePyspark Mac NativeCodeLoader：无法为您的平台加载 native-hadoop 库......在适用的情况下使用内置 java 类
【发布时间】：2017-04-14 01:23:07
【问题描述】：

这会阻止 PySpark 在 Jupyter Notebook 中正常运行。我知道本机 hadoop 库仅在 *nix 平台上受支持。该库不适用于 Cygwin 或 Mac OS X 平台。如何正确安装 PySpark 以在我的 Jupyter 笔记本中运行

【问题讨论】：

标签： hadoop pyspark jupyter-notebook

【解决方案1】：

下载 hadoop 二进制文件 (link) 并将其放在您的主目录中（您可以根据需要选择不同的 hadoop 版本并相应地更改后续步骤）
使用以下命令解压缩主目录中的文件夹。 tar -zxvf hadoop_file_name
现在将 export HADOOP_HOME=~/hadoop-2.8.0 添加到您的 .bashrc 文件中。打开一个新终端，然后重试。来源：Install PySpark on Mac

【讨论】：