【发布时间】:2022-10-05 22:40:39
【问题描述】:
py4j.protocol.Py4JJavaError: 调用 z:org.apache.spark.api.python.PythonRDD.collectAndServe 时出错。 :org.apache.spark.SparkException:作业因阶段失败而中止:阶段 0.0 中的任务 0 失败 1 次,最近失败:阶段 0.0(TID 0)中丢失任务 0.0(hadoop102 执行程序驱动程序):org.apache.spark .api.python.PythonException:回溯(最近一次调用最后一次): 文件 \"/opt/module/spark/python/lib/pyspark.zip/pyspark/worker.py\",第 601 行,在 main func,分析器,反序列化器,序列化器 = read_command(pickleSer,infile) 文件 \"/opt/module/spark/python/lib/pyspark.zip/pyspark/worker.py\",第 71 行,在 read_command command = serializer._read_with_length(file) 文件 \"/opt/module/spark/python/lib/pyspark.zip/pyspark/serializers.py\",第 160 行,在 _read_with_length 返回 self.loads(obj) 文件 \"/opt/module/spark/python/lib/pyspark.zip/pyspark/serializers.py\",第 430 行,加载中 返回pickle.loads(obj,编码=编码) AttributeError: 模块 \'pyspark.rdd\' 没有属性 \'V\'
标签: pyspark