Spark 仅适用于 python 2答案

【问题标题】：Spark only working with python 2Spark 仅适用于 python 2
【发布时间】：2016-11-22 22:11:35
【问题描述】：

这里是 Spark 的初学者。

uname -a

Linux debian 3.2.0-4-amd64 #1 SMP Debian 3.2.82-1 x86_64 GNU/Linux

我已经在http://spark.apache.org/downloads.html下载了默认的Spark

我想在 Python3 中使用它。我在.bashrc 中添加了以下几行：

export SPRK_HOME=/home/rictus/spark-2.0.2-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$PATH
export PYSPARK_PYTHON=python3

为了测试，我在 /home/rictus/spark-2.0.2-bin-hadoop2.7/examples/src/main/python 使用以下命令行

. /home/rictus/.bashrc
cd /home/rictus/spark-2.0.2-bin-hadoop2.7/examples/src/main/python
spark-submit pi.py

使用来自 python 的 stacktrace 启动和停止 Spark：

rictus:~/spark-2.0.2-bin-hadoop2.7/examples/src/main/python$ spark-submit pi.py 22 年 16 月 11 日 22:51:49 WARN NativeCodeLoader：无法为您的平台加载 native-hadoop 库...在适用的情况下使用内置 java 类 22 年 16 月 11 日 22:51:50 警告实用程序：您的主机名，debian 解析为环回地址：127.0.1.1；使用 10.0.2.15 代替（在接口 eth0 上） 22 年 16 月 11 日 22:51:50 WARN Utils：如果您需要绑定到另一个地址，请设置 SPARK_LOCAL_IP [阶段 0:> (0 + 0) / 2]16/11/22 22:51:53 错误执行器：阶段 0.0 (TID 0) 中任务 0.0 中的异常 org.apache.spark.api.python.PythonException：回溯（最近一次调用最后一次）：文件“/home/rictus/spark-2.0.2-bin-hadoop2.7/python/lib/pyspark.zip/pyspark/worker.py”，第 143 行，在 main importlib.invalidate_caches() AttributeError：“模块”对象没有属性“invalidate_caches” 在 org.apache.spark.api.python.PythonRunner$$anon$1.read(PythonRDD.scala:193) 在 org.apache.spark.api.python.PythonRunner$$anon$1.(PythonRDD.scala:234) 在 org.apache.spark.api.python.PythonRunner.compute(PythonRDD.scala:152) 在 org.apache.spark.api.python.PythonRDD.compute(PythonRDD.scala:63) 在 org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:319) 在 org.apache.spark.rdd.RDD.iterator(RDD.scala:283) 在 org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:70) 在 org.apache.spark.scheduler.Task.run(Task.scala:86) 在 org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:274) 在 java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 在 java.lang.Thread.run(Thread.java:745) 16/11/22 22:51:53 WARN TaskSetManager: Lost task 0.0 in stage 0.0 (TID 0, localhost): org.apache.spark.api.python.PythonException: Traceback (最近一次调用最后一次): 文件“/home/rictus/spark-2.0.2-bin-hadoop2.7/python/lib/pyspark.zip/pyspark/worker.py”，第 143 行，在 main importlib.invalidate_caches() AttributeError：“模块”对象没有属性“invalidate_caches” 在 org.apache.spark.api.python.PythonRunner$$anon$1.read(PythonRDD.scala:193) 在 org.apache.spark.api.python.PythonRunner$$anon$1.(PythonRDD.scala:234) 在 org.apache.spark.api.python.PythonRunner.compute(PythonRDD.scala:152) 在 org.apache.spark.api.python.PythonRDD.compute(PythonRDD.scala:63) 在 org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:319) 在 org.apache.spark.rdd.RDD.iterator(RDD.scala:283) 在 org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:70) 在 org.apache.spark.scheduler.Task.run(Task.scala:86) 在 org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:274) 在 java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 在 java.lang.Thread.run(Thread.java:745) 16/11/22 22:51:53 ERROR TaskSetManager: 阶段 0.0 中的任务 0 失败 1 次；中止工作 [Stage 0:> (0 + 1) / 2]16/11/22 22:51:53 WARN TaskSetManager: Lost task 1.0 in stage 0.0 (TID 1, localhost): TaskKilled (故意杀死) 回溯（最近一次通话最后）：文件“/home/rictus/spark-2.0.2-bin-hadoop2.7/examples/src/main/python/pi.py”，第 43 行，在 count = spark.sparkContext.parallelize(range(1, n + 1), partitions).map(f).reduce(add) 文件“/home/rictus/spark-2.0.2-bin-hadoop2.7/python/lib/pyspark.zip/pyspark/rdd.py”，第 802 行，在 reduce 文件“/home/rictus/spark-2.0.2-bin-hadoop2.7/python/lib/pyspark.zip/pyspark/rdd.py”，第 776 行，收集文件“/home/rictus/spark-2.0.2-bin-hadoop2.7/python/lib/py4j-0.10.3-src.zip/py4j/java_gateway.py”，第 1133 行，在 __call__ 文件“/home/rictus/spark-2.0.2-bin-hadoop2.7/python/lib/pyspark.zip/pyspark/sql/utils.py”，第 63 行，deco 文件“/home/rictus/spark-2.0.2-bin-hadoop2.7/python/lib/py4j-0.10.3-src.zip/py4j/protocol.py”，第 319 行，在 get_return_value py4j.protocol.Py4JJavaError: 调用 z:org.apache.spark.api.python.PythonRDD.collectAndServe 时出错。：org.apache.spark.SparkException：作业因阶段失败而中止：阶段 0.0 中的任务 0 失败 1 次，最近失败：阶段 0.0 中丢失任务 0.0（TID 0，本地主机）：org.apache.spark.api。 python.PythonException：回溯（最近一次调用最后一次）：文件“/home/rictus/spark-2.0.2-bin-hadoop2.7/python/lib/pyspark.zip/pyspark/worker.py”，第 143 行，在 main importlib.invalidate_caches() AttributeError：“模块”对象没有属性“invalidate_caches” 在 org.apache.spark.api.python.PythonRunner$$anon$1.read(PythonRDD.scala:193) 在 org.apache.spark.api.python.PythonRunner$$anon$1.(PythonRDD.scala:234) 在 org.apache.spark.api.python.PythonRunner.compute(PythonRDD.scala:152) 在 org.apache.spark.api.python.PythonRDD.compute(PythonRDD.scala:63) 在 org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:319) 在 org.apache.spark.rdd.RDD.iterator(RDD.scala:283) 在 org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:70) 在 org.apache.spark.scheduler.Task.run(Task.scala:86) 在 org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:274) 在 java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 在 java.lang.Thread.run(Thread.java:745) 驱动程序堆栈跟踪：在 org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGScheduler$$failJobAndIndependentStages(DAGScheduler.scala:1454) 在 org.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:1442) 在 org.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:1441) 在 scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:59) 在 scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:48) 在 org.apache.spark.scheduler.DAGScheduler.abortStage（DAGScheduler.scala:1441）在 org.apache.spark.scheduler.DAGScheduler$$anonfun$handleTaskSetFailed$1.apply(DAGScheduler.scala:811) 在 org.apache.spark.scheduler.DAGScheduler$$anonfun$handleTaskSetFailed$1.apply(DAGScheduler.scala:811) 在 scala.Option.foreach(Option.scala:257) 在 org.apache.spark.scheduler.DAGScheduler.handleTaskSetFailed(DAGScheduler.scala:811) 在 org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.doOnReceive(DAGScheduler.scala:1667) 在 org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive(DAGScheduler.scala:1622) 在 org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive(DAGScheduler.scala:1611) 在 org.apache.spark.util.EventLoop$$anon$1.run(EventLoop.scala:48) 在 org.apache.spark.scheduler.DAGScheduler.runJob(DAGScheduler.scala:632) 在 org.apache.spark.SparkContext.runJob(SparkContext.scala:1873) 在 org.apache.spark.SparkContext.runJob(SparkContext.scala:1886) 在 org.apache.spark.SparkContext.runJob(SparkContext.scala:1899) 在 org.apache.spark.SparkContext.runJob(SparkContext.scala:1913) 在 org.apache.spark.rdd.RDD$$anonfun$collect$1.apply(RDD.scala:912) 在 org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:151) 在 org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:112) 在 org.apache.spark.rdd.RDD.withScope(RDD.scala:358) 在 org.apache.spark.rdd.RDD.collect(RDD.scala:911) 在 org.apache.spark.api.python.PythonRDD$.collectAndServe(PythonRDD.scala:453) 在 org.apache.spark.api.python.PythonRDD.collectAndServe(PythonRDD.scala) 在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 在 java.lang.reflect.Method.invoke(Method.java:606) 在 py4j.reflection.MethodInvoker.invoke（MethodInvoker.java:237）在 py4j.reflection.ReflectionEngine.invoke（ReflectionEngine.java:357）在 py4j.Gateway.invoke(Gateway.java:280) 在 py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132) 在 py4j.commands.CallCommand.execute(CallCommand.java:79) 在 py4j.GatewayConnection.run（GatewayConnection.java:214）在 java.lang.Thread.run(Thread.java:745) 引起：org.apache.spark.api.python.PythonException：回溯（最近一次调用最后）：文件“/home/rictus/spark-2.0.2-bin-hadoop2.7/python/lib/pyspark.zip/pyspark/worker.py”，第 143 行，在 main importlib.invalidate_caches() AttributeError：“模块”对象没有属性“invalidate_caches” 在 org.apache.spark.api.python.PythonRunner$$anon$1.read(PythonRDD.scala:193) 在 org.apache.spark.api.python.PythonRunner$$anon$1.(PythonRDD.scala:234) 在 org.apache.spark.api.python.PythonRunner.compute(PythonRDD.scala:152) 在 org.apache.spark.api.python.PythonRDD.compute(PythonRDD.scala:63) 在 org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:319) 在 org.apache.spark.rdd.RDD.iterator(RDD.scala:283) 在 org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:70) 在 org.apache.spark.scheduler.Task.run(Task.scala:86) 在 org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:274) 在 java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) ... 1 更多

我很困惑。文件 pi.py 似乎不是 Python2 特定的。

stacktrace这部分不知道怎么处理：

AttributeError: 'module' 对象没有属性 'invalidate_caches'

在我的.bashrc 文件中，如果我将PYSPARK_PYTHON 从python3 更改为python2，一切正常。

我的 Spark 编译是否仅适用于 Python2？在我看来这很愚蠢。我有什么遗漏吗？

【问题讨论】：

标签： linux python-2.7 python-3.x apache-spark

【解决方案1】：

Apache Spark 不支持 3.4 之前的 Python 3 版本。您应该将您的 Python 安装更新为最新版本。

【讨论】：