我在运行简单的 wordcount 程序时出错

Question

我在运行 wordcount 程序时遇到错误..

我在 python shell 上试​​过

from pyspark import SparkContext

sc = SparkContext("local", "count app")

words = sc.parallelize (
   ["scala", 
   "java", 
   "hadoop", 
   "spark", 
   "akka",
   "spark vs hadoop", 
   "pyspark",
   "pyspark and spark"]
)

counts = words.count()

print("Number of elements in RDD -> %i" % (counts))

Traceback（最近一次调用最后一次）：文件 "C:/Users/user/AppData/Local/Programs/Python/Python37/pyspark1.py", 第 13 行，在 coll = words.collect() 文件 "C:\Users\user\AppData\Local\Programs\Python\Python37\lib\site-packages\pyspark\rdd.py", 第 816 行，收集中 sock_info = self.ctx._jvm.PythonRDD.collectAndServe(self._jrdd.rdd()) 文件 "C:\Users\user\AppData\Local\Programs\Python\Python37\lib\site-packages\py4j\java_gateway.py", 第 1257 行，在 调用 答案，self.gateway_client，self.target_id，self.name）文件“C:\Users\user\AppData\Local\Programs\Python\Python37\lib\site-packages\py4j\protocol.py”， 第 328 行，在 get_return_value 中 format(target_id, ".", name), value) py4j.protocol.Py4JJavaError: 调用时出错 z:org.apache.spark.api.python.PythonRDD.collectAndServe。 ： java.lang.IllegalArgumentException：不支持的类文件专业 第 56 版

在 org.apache.xbean.asm6.ClassReader.(ClassReader.java:166)

在 org.apache.xbean.asm6.ClassReader.(ClassReader.java:148)

在 org.apache.xbean.asm6.ClassReader.(ClassReader.java:136)

在 org.apache.xbean.asm6.ClassReader.(ClassReader.java:237)

在 org.apache.spark.util.ClosureCleaner$.getClassReader(ClosureCleaner.scala:49)

在 org.apache.spark.util.FieldAccessFinder$$anon$3$$anonfun$visitMethodInsn$2.apply(ClosureCleaner.scala:517)

在 org.apache.spark.util.FieldAccessFinder$$anon$3$$anonfun$visitMethodInsn$2.apply(ClosureCleaner.scala:500)

在 scala.collection.TraversableLike$WithFilter$$anonfun$foreach$1.apply(TraversableLike.scala:733)

在 scala.collection.mutable.HashMap$$anon$1$$anonfun$foreach$2.apply(HashMap.scala:134)

在 scala.collection.mutable.HashMap$$anon$1$$anonfun$foreach$2.apply(HashMap.scala:134)

在 scala.collection.mutable.HashTable$class.foreachEntry(HashTable.scala:236)

在 scala.collection.mutable.HashMap.foreachEntry(HashMap.scala:40)

在 scala.collection.mutable.HashMap$$anon$1.foreach(HashMap.scala:134)

在 scala.collection.TraversableLike$WithFilter.foreach(TraversableLike.scala:732)

在 org.apache.spark.util.FieldAccessFinder$$anon$3.visitMethodInsn(ClosureCleaner.scala:500)

在 org.apache.xbean.asm6.ClassReader.readCode(ClassReader.java:2175)

在 org.apache.xbean.asm6.ClassReader.readMethod(ClassReader.java:1238)

在 org.apache.xbean.asm6.ClassReader.accept(ClassReader.java:631)

在 org.apache.xbean.asm6.ClassReader.accept(ClassReader.java:355)

在 org.apache.spark.util.ClosureCleaner$$anonfun$org$apache$spark$util$ClosureCleaner$$clean$14.apply(ClosureCleaner.scala:307)

在 org.apache.spark.util.ClosureCleaner$$anonfun$org$apache$spark$util$ClosureCleaner$$clean$14.apply(ClosureCleaner.scala:306)

在 scala.collection.immutable.List.foreach(List.scala:392)

在 org.apache.spark.util.ClosureCleaner$.org$apache$spark$util$ClosureCleaner$$clean(ClosureCleaner.scala:306)

在 org.apache.spark.util.ClosureCleaner$.clean(ClosureCleaner.scala:162)

在 org.apache.spark.SparkContext.clean(SparkContext.scala:2326)

在 org.apache.spark.SparkContext.runJob(SparkContext.scala:2100)

在 org.apache.spark.SparkContext.runJob(SparkContext.scala:2126)

在 org.apache.spark.rdd.RDD$$anonfun$collect$1.apply(RDD.scala:945)

在 org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:151)

在 org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:112)

在 org.apache.spark.rdd.RDD.withScope(RDD.scala:363)

在 org.apache.spark.rdd.RDD.collect(RDD.scala:944)

在 org.apache.spark.api.python.PythonRDD$.collectAndServe(PythonRDD.scala:166)

在 org.apache.spark.api.python.PythonRDD.collectAndServe(PythonRDD.scala)

在 java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke0(Native 方法）

在 java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)

在 java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)

在 java.base/java.lang.reflect.Method.invoke(Method.java:567)

在 py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244)

在 py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)

在 py4j.Gateway.invoke(Gateway.java:282)

在 py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)

在 py4j.commands.CallCommand.execute(CallCommand.java:79)

在 py4j.GatewayConnection.run(GatewayConnection.java:238)

在 java.base/java.lang.Thread.run(Thread.java:835)

Answer 1

Spark 不适用于 Java 9 以上版本尝试降级到 Java 8