python运行spark的问题答案

【问题标题】：Problems of running spark for Pythonpython运行spark的问题
【发布时间】：2016-12-30 01:36:18
【问题描述】：

两个问题：

如何在 spark 模块中运行 python3？我运行/bin/.pyspark，它会自动运行 Python 2.7。如何运行 Python3？
运行 pyspark 后，它会弹出如下警告：16/12/29 17:33:37 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 这是否意味着我下载了错误的 spark 平台？

我正在使用 MacProBook。谢谢。

【问题讨论】：

【解决方案1】：

按照以下步骤操作：

1 次：

PYSPARK_PYTHON=python3 ./bin/pyspark

每次：

>>>cd
>>>vim .bashrc

在文件末尾添加这两行并保存文件。

export PYSPARK_PYTHON=/usr/bin/python3
export PYSPARK_DRIVER_PYTHON=python3

退出文件后，获取.bashrc 文件以反映更改。

>>>source .bashrc

现在当你启动 spark 时，它将使用 Python3。

阅读此内容以了解您的第二个错误。它与 32bit vs 64bit 源代码编译有关：

【讨论】：

【解决方案2】：

在你的 ~/.bashrc 中添加这个 `

export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=/usr/local/hadoop/lib/"

export HADOOP_COMMON_LIB_NATIVE_DIR="/usr/local/hadoop/lib/native/"

或： export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=/usr/local/hadoop/lib/native"

【讨论】：