【发布时间】：2015-12-06 18:33:57
【问题描述】：
我是 Cassandra Spark 的新手，并尝试使用 Spark 主集群将数据从文件加载到 Cassandra 表。 我正在按照以下链接中给出的步骤进行操作
http://docs.datastax.com/en/datastax_enterprise/4.7/datastax_enterprise/spark/sparkImportTxtCQL.html
在第 8 步，数据显示为整数数组，但当我使用相同的命令时，结果显示为字符串 Array[Array[String]] = Array(Array(6, 7, 8))
应用显式转换方法后 例如
scala> val arr = Array("1", "12", "123")
arr: Array[String] = Array(1, 12, 123)
scala> val intArr = arr.map(_.toInt)
intArr: Array[Int] = Array(1, 12, 123)
结果以这种格式显示
res24: org.apache.spark.rdd.RDD[Int] = MapPartitionsRDD[7] at map at <console>:33
现在使用 take 函数从中检索数据或对其应用任何函数后，出现以下错误
15/09/10 17:21:23 INFO SparkContext：开始工作：参加 :36 15/09/10 17:21:23 INFO DAGScheduler: 得到工作 23 (在 :36) 具有 1 个输出分区 (allowLocal=true) 15/09/10 17:21:23 INFO DAGScheduler：最后阶段：ResultStage 23（取 :36) 15/09/10 17:21:23 INFO DAGScheduler: 决赛家长 阶段：List() 15/09/10 17:21:23 信息 DAGScheduler：失踪父母： List() 15/09/10 17:21:23 INFO DAGScheduler：提交结果阶段 23 （MapPartitionsRDD[7] at map at :33），没有遗漏 父母 15/09/10 17:21:23 INFO MemoryStore: ensureFreeSpace(3448) 用 curMem=411425，maxMem=257918238 15/09/10 17:21:23 INFO 调用 MemoryStore：块broadcast_25作为值存储在内存中（估计 大小 3.4 KB，免费 245.6 MB）15/09/10 17:21:23 INFO MemoryStore： ensureFreeSpace(2023) 调用 curMem=414873, maxMem=257918238 2010 年 9 月 15 日 17:21:23 信息 MemoryStore：块 broadcast_25_piece0 已存储 作为内存中的字节（估计大小 2023.0 B，可用 245.6 MB）15/09/10 17:21:23 INFO BlockManagerInfo：在内存中添加了 broadcast_25_piece0 192.168.1.137:57524（大小：2023.0 B，免费：245.9 MB）15/09/10 17:21:23 信息 SparkContext：从广播创建广播 25 DAGScheduler.scala:874 15/09/10 17:21:23 信息 DAGScheduler：提交 ResultStage 23 中缺少 1 个任务（MapPartitionsRDD[7] at map at :33) 15/09/10 17:21:23 信息 TaskSchedulerImpl：添加任务 设置 23.0 和 1 个任务 15/09/10 17:21:23 INFO TaskSetManager: 开始 阶段 23.0 中的任务 0.0（TID 117、192.168.1.138、PROCESS_LOCAL、1512 字节）15/09/10 17:21:23 信息 BlockManagerInfo：已添加 192.168.1.138:34977 内存中的 broadcast_25_piece0 （大小：2023.0 B， 免费：265.4 MB）15/09/10 17:21:23 WARN TaskSetManager：丢失任务 0.0 在第 23.0 阶段（TID 117、192.168.1.138）： java.lang.ClassNotFoundException： $line67.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$anonfun$1 在 java.net.URLClassLoader$1.run(URLClassLoader.java:366) 在 java.net.URLClassLoader$1.run(URLClassLoader.java:355) 在 java.security.AccessController.doPrivileged(Native Method) 在 java.net.URLClassLoader.findClass(URLClassLoader.java:354) 在 java.lang.ClassLoader.loadClass(ClassLoader.java:425) 在 java.lang.ClassLoader.loadClass(ClassLoader.java:358) 在 java.lang.Class.forName0（本机方法）在 java.lang.Class.forName(Class.java:274) 在 org.apache.spark.serializer.JavaDeserializationStream$$anon$1.resolveClass(JavaSerializer.scala:66) 在 java.io.ObjectInputStream.readNonProxyDesc(ObjectInputStream.java:1612) 在 java.io.ObjectInputStream.readClassDesc(ObjectInputStream.java:1517) 在 java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1771) 在 java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1350) 在 java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:1997) 在 java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:1921) 在 java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1798) 在 java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1350) 在 java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:1997) 在 java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:1921) 在 java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1798) 在 java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1350) 在 java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:1997) 在 java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:1921) 在 java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1798) 在 java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1350) 在 java.io.ObjectInputStream.readObject(ObjectInputStream.java:370) 在 org.apache.spark.serializer.JavaDeserializationStream.readObject(JavaSerializer.scala:69) 在 org.apache.spark.serializer.JavaSerializerInstance.deserialize(JavaSerializer.scala:95) 在 org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:58) 在 org.apache.spark.scheduler.Task.run(Task.scala:70) 在 org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:213) 在 java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 在 java.lang.Thread.run(Thread.java:745)
15/09/10 17:21:23 INFO TaskSetManager：在阶段 23.0 中启动任务 0.1 （TID 118、192.168.1.137、PROCESS_LOCAL、1512 字节）15/09/10 17:21:23 信息 BlockManagerInfo：在内存中添加了 broadcast_25_piece0 192.168.1.137:57296（大小：2023.0 B，免费：265.4 MB）15/09/10 17:21:23 信息 TaskSetManager：在执行程序的阶段 23.0（TID 118）中丢失任务 0.1 192.168.1.137: java.lang.ClassNotFoundException ($line67.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$ iwC$$anonfun$1) [重复 1] 15/09/10 17:21:23 INFO TaskSetManager：启动任务 0.2 在第 23.0 阶段（TID 119、192.168.1.137、PROCESS_LOCAL、1512 字节） 15/09/10 17:21:23 INFO TaskSetManager：在阶段 23.0 丢失任务 0.2 (TID 119) 在执行程序 192.168.1.137 上：java.lang.ClassNotFoundException ($line67.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$anonfun$1) [重复 2] 15/09/10 17:21:23 INFO TaskSetManager：启动任务 0.3 在 23.0 阶段（TID 120、192.168.1.138、PROCESS_LOCAL、1512 字节） 15/09/10 17:21:23 INFO TaskSetManager：在阶段 23.0 丢失任务 0.3 (TID 120) 在执行程序 192.168.1.138 上：java.lang.ClassNotFoundException ($line67.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$anonfun$1) [重复 3] 15/09/10 17:21:23 错误 TaskSetManager：阶段中的任务 0 23.0失败4次；中止作业 15/09/10 17:21:23 INFO TaskSchedulerImpl：删除了 TaskSet 23.0，其任务已全部 已完成，来自池 15/09/10 17:21:23 INFO TaskSchedulerImpl： 取消阶段 23 15/09/10 17:21:23 INFO DAGScheduler: ResultStage 23（取：36）在 0.184 秒内失败 15/09/10 17:21:23 信息 DAGScheduler：作业 23 失败：拍摄时间：36，耗时 0.194861 秒 2010 年 15 月 9 日 17:21:23 信息 BlockManagerInfo：删除了 broadcast_24_piece0 在内存中的 192.168.1.137:57524 上（大小：1963.0 B，免费：245.9 MB） 2010 年 15 月 9 日 17:21:23 信息 BlockManagerInfo：删除了 broadcast_24_piece0 在内存中的 192.168.1.138:34977 上（大小：1963.0 B，免费：265.4 MB） 2010 年 15 月 9 日 17:21:23 信息 BlockManagerInfo：删除了 broadcast_24_piece0 在内存中的 192.168.1.137:57296 上（大小：1963.0 B，免费：265.4 MB） 2010 年 15 月 9 日 17:21:23 信息 BlockManagerInfo：删除了 broadcast_23_piece0 在内存中的 192.168.1.137:57524 上（大小：2.2 KB，免费：245.9 MB） 2010 年 15 月 9 日 17:21:23 信息 BlockManagerInfo：删除了 broadcast_23_piece0 在内存中的 192.168.1.138:34977 上（大小：2.2 KB，免费：265.4 MB） 2010 年 15 月 9 日 17:21:23 信息 BlockManagerInfo：删除了 broadcast_23_piece0 在内存中的 192.168.1.137:57296 上（大小：2.2 KB，免费：265.4 MB） org.apache.spark.SparkException：作业因阶段失败而中止： 阶段 23.0 中的任务 0 失败 4 次，最近一次失败：丢失任务 0.3 在阶段 23.0 (TID 120, 192.168.1.138): java.lang.ClassNotFoundException: $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$anonfun$1 在 java.net.URLClassLoader$1.run(URLClassLoader.java:366) 在 java.net.URLClassLoader$1.run(URLClassLoader.java:355) 在 java.security.AccessController.doPrivileged(Native Method) 在 java.net.URLClassLoader.findClass(URLClassLoader.java:354) 在 java.lang.ClassLoader.loadClass(ClassLoader.java:425) 在 java.lang.ClassLoader.loadClass(ClassLoader.java:358) 在 java.lang.Class.forName0（本机方法）在 java.lang.Class.forName(Class.java:274) 在 org.apache.spark.serializer.JavaDeserializationStream$$anon$1.resolveClass(JavaSerializer.scala:66) 在 java.io.ObjectInputStream.readNonProxyDesc(ObjectInputStream.java:1612) 在 java.io.ObjectInputStream.readClassDesc(ObjectInputStream.java:1517) 在 java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1771) 在 java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1350) 在 java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:1997) 在 java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:1921) 在 java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1798) 在 java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1350) 在 java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:1997) 在 java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:1921) 在 java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1798) 在 java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1350) 在 java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:1997) 在 java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:1921) 在 java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1798) 在 java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1350) 在 java.io.ObjectInputStream.readObject(ObjectInputStream.java:370) 在 org.apache.spark.serializer.JavaDeserializationStream.readObject(JavaSerializer.scala:69) 在 org.apache.spark.serializer.JavaSerializerInstance.deserialize(JavaSerializer.scala:95) 在 org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:58) 在 org.apache.spark.scheduler.Task.run(Task.scala:70) 在 org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:213) 在 java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 在 java.lang.Thread.run(Thread.java:745)
驱动程序堆栈跟踪：在 org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGScheduler$$failJobAndIndependentStages(DAGScheduler.scala:1273) 在 org.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:1264) 在 org.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:1263) 在 scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:59) 在 scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:47) 在 org.apache.spark.scheduler.DAGScheduler.abortStage(DAGScheduler.scala:1263) 在 org.apache.spark.scheduler.DAGScheduler$$anonfun$handleTaskSetFailed$1.apply(DAGScheduler.scala:730) 在 org.apache.spark.scheduler.DAGScheduler$$anonfun$handleTaskSetFailed$1.apply(DAGScheduler.scala:730) 在 scala.Option.foreach(Option.scala:236) 在 org.apache.spark.scheduler.DAGScheduler.handleTaskSetFailed(DAGScheduler.scala:730) 在 org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive(DAGScheduler.scala:1457) 在 org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive(DAGScheduler.scala:1418) 在 org.apache.spark.util.EventLoop$$anon$1.run(EventLoop.scala:48)
提前感谢您的帮助
【问题讨论】：
标签： linux scala cassandra apache-spark datastax-enterprise