【发布时间】:2016-01-28 06:33:12
【问题描述】:
我很难将这些组件正确地结合在一起。我已经安装了 Spark 并成功运行,我可以在本地、独立以及通过 YARN 运行作业。我已按照建议的步骤(据我所知)here 和 here
我正在开发 Ubuntu,我拥有的各种组件版本是
- Spark spark-1.5.1-bin-hadoop2.6
- Hadoop hadoop-2.6.1
- 蒙古 2.6.10
- Mongo-Hadoop 连接器 克隆自 https://github.com/mongodb/mongo-hadoop.git
- Python 2.7.10
我在执行各个步骤时遇到了一些困难,例如将哪些罐子添加到哪个路径,所以我添加的是
- in
/usr/local/share/hadoop-2.6.1/share/hadoop/mapreduce我已添加mongo-hadoop-core-1.5.0-SNAPSHOT.jar - 以下环境变量
export HADOOP_HOME="/usr/local/share/hadoop-2.6.1"export PATH=$PATH:$HADOOP_HOME/binexport SPARK_HOME="/usr/local/share/spark-1.5.1-bin-hadoop2.6"export PYTHONPATH="/usr/local/share/mongo-hadoop/spark/src/main/python"export PATH=$PATH:$SPARK_HOME/bin
我的 Python 程序是基本的
from pyspark import SparkContext, SparkConf
import pymongo_spark
pymongo_spark.activate()
def main():
conf = SparkConf().setAppName("pyspark test")
sc = SparkContext(conf=conf)
rdd = sc.mongoRDD(
'mongodb://username:password@localhost:27017/mydb.mycollection')
if __name__ == '__main__':
main()
我正在使用命令运行它
$SPARK_HOME/bin/spark-submit --driver-class-path /usr/local/share/mongo-hadoop/spark/build/libs/ --master local[4] ~/sparkPythonExample/SparkPythonExample.py
结果我得到以下输出
Traceback (most recent call last):
File "/home/me/sparkPythonExample/SparkPythonExample.py", line 24, in <module>
main()
File "/home/me/sparkPythonExample/SparkPythonExample.py", line 17, in main
rdd = sc.mongoRDD('mongodb://username:password@localhost:27017/mydb.mycollection')
File "/usr/local/share/mongo-hadoop/spark/src/main/python/pymongo_spark.py", line 161, in mongoRDD
return self.mongoPairRDD(connection_string, config).values()
File "/usr/local/share/mongo-hadoop/spark/src/main/python/pymongo_spark.py", line 143, in mongoPairRDD
_ensure_pickles(self)
File "/usr/local/share/mongo-hadoop/spark/src/main/python/pymongo_spark.py", line 80, in _ensure_pickles
orig_tb)
py4j.protocol.Py4JError
根据here
Java 客户端发生异常时引发此异常 代码。例如,如果您尝试从空堆栈中弹出一个元素。 抛出的 Java 异常的实例存储在 java_exception 成员。
查看pymongo_spark.py 的源代码和抛出错误的行,它说
"与 JVM 通信时出错。MongoDB Spark jar 是否打开 Spark 的类路径? :“
因此,作为回应,我试图确保传递了正确的罐子,但我可能做错了,见下文
$SPARK_HOME/bin/spark-submit --jars /usr/local/share/spark-1.5.1-bin-hadoop2.6/lib/mongo-hadoop-spark-1.5.0-SNAPSHOT.jar,/usr/local/share/spark-1.5.1-bin-hadoop2.6/lib/mongo-java-driver-3.0.4.jar --driver-class-path /usr/local/share/spark-1.5.1-bin-hadoop2.6/lib/mongo-java-driver-3.0.4.jar,/usr/local/share/spark-1.5.1-bin-hadoop2.6/lib/mongo-hadoop-spark-1.5.0-SNAPSHOT.jar --master local[4] ~/sparkPythonExample/SparkPythonExample.py
我已将 pymongo 导入到同一个 python 程序中,以验证我至少可以使用它访问 MongoDB,而且我可以。
我知道这里有很多活动部件,所以如果我能提供更多有用的信息,请告诉我。
【问题讨论】:
标签: python mongodb apache-spark pyspark pymongo