spark中的这个异常是什么意思答案

【问题标题】：What is means by this exception in sparkspark中的这个异常是什么意思
【发布时间】：2016-03-31 06:32:05
【问题描述】：

16/03/30 23:23:20 WARN TaskSetManager：在阶段 0.0 中丢失任务 1.0（TID 1, 10.208.91.144): java.lang.NoClassDefFoundError: edu/stanford/nlp/trees/TreebankLanguagePack 在 java.lang.Class.getDeclaredFields0（本机方法）在 java.lang.Class.privateGetDeclaredFields(Class.java:2499) 在 java.lang.Class.getDeclaredField(Class.java:1951) 在 java.io.ObjectStreamClass.getDeclaredSUID(ObjectStreamClass.java:1659) 在 java.io.ObjectStreamClass.access$700(ObjectStreamClass.java:72) 在 java.io.ObjectStreamClass$2.run(ObjectStreamClass.java:480) 在 java.io.ObjectStreamClass$2.run(ObjectStreamClass.java:468) 在 java.security.AccessController.doPrivileged(Native Method) 在 java.io.ObjectStreamClass.(ObjectStreamClass.java:468) 在 java.io.ObjectStreamClass.lookup(ObjectStreamClass.java:365) 在 java.io.ObjectStreamClass.initNonProxy(ObjectStreamClass.java:602) 在 java.io.ObjectInputStream.readNonProxyDesc(ObjectInputStream.java:1622) 在 java.io.ObjectInputStream.readClassDesc(ObjectInputStream.java:1517) 在 java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1771) 在 java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1350) 在 java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:1990) 在 java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:1915) 在 java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1798) 在 java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1350) 在 java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:1990) 在 java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:1915) 在 java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1798) 在 java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1350) 在 java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:1990) 在 java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:1915) 在 java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1798) 在 java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1350) 在 java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:1990) 在 java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:1915) 在 java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1798) 在 java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1350) 在 java.io.ObjectInputStream.readObject(ObjectInputStream.java:370) 在 scala.collection.immutable.$colon$colon.readObject(List.scala:362) 在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 在 java.lang.reflect.Method.invoke(Method.java:606) 在 java.io.ObjectStreamClass.invokeReadObject(ObjectStreamClass.java:1017) 在 java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:1893) 在 java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1798) 在 java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1350) 在 java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:1990) 在 java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:1915) 在 java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1798) 在 java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1350) 在 java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:1990) 在 java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:1915) 在 java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1798) 在 java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1350) 在 java.io.ObjectInputStream.readObject(ObjectInputStream.java:370) 在 org.apache.spark.serializer.JavaDeserializationStream.readObject(JavaSerializer.scala:69) 在 org.apache.spark.serializer.JavaSerializerInstance.deserialize(JavaSerializer.scala:95) 在 org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:58) 在 org.apache.spark.scheduler.Task.run(Task.scala:70) 在 org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:213) 在 java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 在 java.lang.Thread.run(Thread.java:745) 引起： java.lang.ClassNotFoundException： edu.stanford.nlp.trees.TreebankLanguagePack 在 java.net.URLClassLoader$1.run(URLClassLoader.java:366) 在 java.net.URLClassLoader$1.run(URLClassLoader.java:355) 在 java.security.AccessController.doPrivileged(Native Method) 在 java.net.URLClassLoader.findClass(URLClassLoader.java:354) 在 java.lang.ClassLoader.loadClass(ClassLoader.java:425) 在 java.lang.ClassLoader.loadClass(ClassLoader.java:358) ... 58 更多

16/03/30 23:23:20 INFO TaskSetManager：在阶段 0.0 启动任务 1.1 （TID 2，10.208.91.144，PROCESS_LOCAL，5942 字节）16/03/30 23:23:20 信息 TaskSetManager：在执行程序的阶段 0.0 (TID 0) 中丢失任务 0.0 10.208.91.144：java.lang.NoClassDefFoundError（edu/stanford/nlp/trees/TreebankLanguagePack）[重复 1] 16/03/30 23:23:20 INFO TaskSetManager：在阶段 0.0（TID 3， 10.208.91.144，PROCESS_LOCAL，1435 字节）16/03/30 23:23:20 WARN TransportChannelHandler：连接异常 /10.208.91.144:61788 java.io.IOException：现有连接是被远程主机强行关闭 sun.nio.ch.SocketDispatcher.read0（本机方法）在 sun.nio.ch.SocketDispatcher.read(SocketDispatcher.java:43) 在 sun.nio.ch.IOUtil.readIntoNativeBuffer(IOUtil.java:223) 在 sun.nio.ch.IOUtil.read(IOUtil.java:192) 在 sun.nio.ch.SocketChannelImpl.read(SocketChannelImpl.java:380) 在 io.netty.buffer.PooledUnsafeDirectByteBuf.setBytes(PooledUnsafeDirectByteBuf.java:311) 在 io.netty.buffer.AbstractByteBuf.writeBytes(AbstractByteBuf.java:881) 在 io.netty.channel.socket.nio.NioSocketChannel.doReadBytes(NioSocketChannel.java:225) 在 io.netty.channel.nio.AbstractNioByteChannel$NioByteUnsafe.read(AbstractNioByteChannel.java:119) 在 io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:511) 在 io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:468) 在 io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:382) 在 io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:354) 在 io.netty.util.concurrent.SingleThreadEventExecutor$2.run(SingleThreadEventExecutor.java:116) 在 java.lang.Thread.run(Thread.java:745) 16/03/30 23:23:20 错误 TaskSchedulerImpl：10.208.91.144 上丢失的执行程序 0：远程 Rpc 客户端取消关联 16/03/30 23:23:20 INFO TaskSetManager：重新排队任务对于 0 来自任务集 0.0 16/03/30 23:23:20 WARN ReliableDeliverySupervisor：与远程系统关联 [akka.tcp://sparkExecutor@10.208.91.144:61767] 失败，地址为现在选通 [5000] 毫秒。原因是：[解除关联]。 16/03/30 23:23:20 WARN TaskSetManager：在阶段 0.0 中丢失任务 1.1（TID 2， 10.208.91.144): ExecutorLostFailure (executor 0 lost) 16/03/30 23:23:20 WARN TaskSetManager: Lost task 0.1 in stage 0.0 (TID 3, 10.208.91.144）：ExecutorLostFailure（执行器 0 丢失）16/03/30 23:23:20 信息 DAGScheduler：执行器丢失：0（纪元 0）16/03/30 23:23:20 信息 BlockManagerMasterEndpoint：试图删除执行程序 0 来自 BlockManagerMaster。 16/03/30 23:23:20 信息 BlockManagerMasterEndpoint：删除块管理器 BlockManagerId(0, 10.208.91.144, 61786) 16/03/30 23:23:20 信息 BlockManagerMaster：在 removeExecutor 16/03/30 23:23:20 中成功删除 0 信息 AppClient$ClientActor：执行器更新：app-20160330232314-0002/0 是现在退出（命令以代码 50 退出）16/03/30 23:23:20 信息 SparkDeploySchedulerBackend：执行程序 app-20160330232314-0002/0 已删除：命令以代码 50 16/03/30 23:23:20 错误退出 SparkDeploySchedulerBackend：要求删除不存在的执行程序 0 16/03/30 23:23:20 INFO AppClient$ClientActor：执行者添加： app-20160330232314-0002/1 在 worker-20160330231130-10.208.91.144-61218 上 (10.208.91.144:61218) 4 核 16/03/30 23:23:20 信息 SparkDeploySchedulerBackend：授予的执行者 ID app-20160330232314-0002/1 在 hostPort 10.208.91.144:61218 与 4 核心，512.0 MB RAM 16/03/30 23:23:20 信息 AppClient$ClientActor：执行器更新：app-20160330232314-0002/1 现在 RUNNING 16/03/30 23:23:20 INFO AppClient$ClientActor：执行器更新： app-20160330232314-0002/1 现在正在加载 16/03/30 23:23:23 信息 SparkDeploySchedulerBackend：注册的执行者： AkkaRpcEndpointRef（演员[akka.tcp://sparkExecutor@10.208.91.144:61815/user/Executor#-238863041]） ID 1 16/03/30 23:23:23 信息 TaskSetManager：启动任务 0.2 在阶段 0.0（TID 4、10.208.91.144、PROCESS_LOCAL、1435 字节）16/03/30 23:23:23 INFO TaskSetManager：在阶段 0.0（TID 5， 10.208.91.144，PROCESS_LOCAL，5942 字节）16/03/30 23:23:24 信息 BlockManagerMasterEndpoint：注册块管理器 10.208.91.144:61834 具有 265.4 MB RAM，BlockManagerId(1, 10.208.91.144, 61834) 16/03/30 23:23:24 信息 BlockManagerInfo：在内存中添加了 broadcast_0_piece0 10.208.91.144:61834（大小：30.4 KB，免费：265.4 MB）16/03/30 23:23:24 信息 TaskSetManager：丢失任务 1.2 在执行器 10.208.91.144 的阶段 0.0 (TID 5) 中： java.lang.NoClassDefFoundError (edu/stanford/nlp/trees/TreebankLanguagePack) [重复 2] 16/03/30 23:23:24 INFO TaskSetManager：在阶段 0.0（TID 6， 10.208.91.144，PROCESS_LOCAL，5942 字节）16/03/30 23:23:24 信息 TaskSetManager：在执行程序的阶段 0.0（TID 4）中丢失任务 0.2 10.208.91.144：java.lang.NoClassDefFoundError（edu/stanford/nlp/trees/TreebankLanguagePack）[重复 3] 16/03/30 23:23:24 INFO TaskSetManager：在阶段 0.0 启动任务 0.3（TID 7， 10.208.91.144，PROCESS_LOCAL，1435 字节）16/03/30 23:23:25 WARN TransportChannelHandler：连接异常 /10.208.91.144:61835 java.io.IOException：现有连接是被远程主机强行关闭 sun.nio.ch.SocketDispatcher.read0（本机方法）在 sun.nio.ch.SocketDispatcher.read(SocketDispatcher.java:43) 在 sun.nio.ch.IOUtil.readIntoNativeBuffer(IOUtil.java:223) 在 sun.nio.ch.IOUtil.read(IOUtil.java:192) 在 sun.nio.ch.SocketChannelImpl.read(SocketChannelImpl.java:380) 在 io.netty.buffer.PooledUnsafeDirectByteBuf.setBytes(PooledUnsafeDirectByteBuf.java:311) 在 io.netty.buffer.AbstractByteBuf.writeBytes(AbstractByteBuf.java:881) 在 io.netty.channel.socket.nio.NioSocketChannel.doReadBytes(NioSocketChannel.java:225) 在 io.netty.channel.nio.AbstractNioByteChannel$NioByteUnsafe.read(AbstractNioByteChannel.java:119) 在 io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:511) 在 io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:468) 在 io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:382) 在 io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:354) 在 io.netty.util.concurrent.SingleThreadEventExecutor$2.run(SingleThreadEventExecutor.java:116) 在 java.lang.Thread.run(Thread.java:745) 16/03/30 23:23:25 错误 TaskSchedulerImpl：10.208.91.144 上丢失的执行程序 1：远程 Rpc 客户端取消关联 16/03/30 23:23:25 信息 TaskSetManager：重新排队任务 for 1 from TaskSet 0.0 16/03/30 23:23:25 WARN TaskSetManager: Lost 阶段 0.0 (TID 7, 10.208.91.144) 中的任务 0.3：ExecutorLostFailure （执行者 1 丢失）16/03/30 23:23:25 WARN ReliableDeliverySupervisor: 与远程系统关联 [akka.tcp://sparkExecutor@10.208.91.144:61815] 失败，地址为现在选通 [5000] 毫秒。原因是：[解除关联]。 16/03/30 23:23:25 ERROR TaskSetManager: 阶段 0.0 中的任务 0 失败 4 次；中止工作 16/03/30 23:23:25 WARN TaskSetManager：在阶段 0.0 中丢失任务 1.3（TID 6、10.208.91.144）：ExecutorLostFailure（执行器 1 丢失）16/03/30 23:23:25 INFO TaskSchedulerImpl：已删除 TaskSet 0.0，其任务已全部完成，来自池 16/03/30 23:23:25 INFO TaskSchedulerImpl：取消阶段 0 16/03/30 23:23:25 INFO DAGScheduler: ResultStage 0 （在 Polarity.java:62 保存AsTextFile）在 8.085 秒 16/03/30 中失败 23:23:25 信息 DAGScheduler：作业 0 失败：saveAsTextFile at Polarity.java:62，耗时 8.447334 秒 16/03/30 23:23:25 信息 DAGScheduler：执行者丢失：1 (epoch 1) org.apache.spark.SparkException: Job 由于阶段失败而中止：阶段 0.0 中的任务 0 失败了 4 次，大多数最近失败：在 0.0 阶段丢失任务 0.3（TID 7, 10.208.91.144）： ExecutorLostFailure（执行程序 1 丢失）驱动程序堆栈跟踪：在 org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGScheduler$$failJobAndIndependentStages(DAGScheduler.scala:1266) 在 org.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:1257) 在 org.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:1256) 在 scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:59) 在 scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:47) 在 org.apache.spark.scheduler.DAGScheduler.abortStage（DAGScheduler.scala:1256）在 org.apache.spark.scheduler.DAGScheduler$$anonfun$handleTaskSetFailed$1.apply(DAGScheduler.scala:730) 在 org.apache.spark.scheduler.DAGScheduler$$anonfun$handleTaskSetFailed$1.apply(DAGScheduler.scala:730) 在 scala.Option.foreach(Option.scala:236) 在 org.apache.spark.scheduler.DAGScheduler.handleTaskSetFailed(DAGScheduler.scala:730) 在 org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive(DAGScheduler.scala:1450) 在 org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive(DAGScheduler.scala:1411) 在 org.apache.spark.util.EventLoop$$anon$1.run(EventLoop.scala:48) 线程“主”java.io.FileNotFoundException 中的异常： G:\Workspace\DSS\TextFile\part-00000（系统找不到文件指定）在 java.io.FileInputStream.open0(Native Method) 在 java.io.FileInputStream.open(FileInputStream.java:195) 在 java.io.FileInputStream.(FileInputStream.java:138) 在 java.io.FileInputStream.(FileInputStream.java:93) 在 java.io.FileReader.(FileReader.java:58) 在 com.Polarity.read(Polarity.java:94) 在 com.Polarity.main(Polarity.java:288) 16/03/30 23:23:25 信息 BlockManagerMasterEndpoint：试图从中删除执行程序 1 区块管理大师。 16/03/30 23:23:25 信息 BlockManagerMasterEndpoint：删除块管理器 BlockManagerId(1, 10.208.91.144, 61834) 16/03/30 23:23:25 INFO BlockManagerMaster: 成功移除 1 个 removeExecutor 16/03/30 23:23:25 信息 AppClient$ClientActor：执行者更新：app-20160330232314-0002/1 现在已退出（命令退出代码 50) 16/03/30 23:23:25 信息 SparkDeploySchedulerBackend: Executor 删除了 app-20160330232314-0002/1：命令退出，代码为 50 16/03/30 23:23:25 错误 SparkDeploySchedulerBackend：要求删除不存在的执行者 1 16/03/30 23:23:25 信息 AppClient$ClientActor：执行者添加：app-20160330232314-0002/2 on 工人 20160330231130-10.208.91.144-61218 (10.208.91.144:61218) 与 4 核心 16/03/30 23:23:25 信息 SparkDeploySchedulerBackend：授予 hostPort 10.208.91.144:61218 上的执行程序 ID app-20160330232314-0002/2 4 核，512.0 MB RAM 16/03/30 23:23:25 信息 SparkContext：从关闭挂钩调用 stop() 16/03/30 23:23:25 INFO AppClient$ClientActor：执行器更新：app-20160330232314-0002/2 是现在 RUNNING 16/03/30 23:23:25 信息 AppClient$ClientActor: Executor 更新：app-20160330232314-0002/2 现在正在加载 16/03/30 23:23:25 信息 SparkUI：在 http://10.208.91.144:4040 停止了 Spark Web UI 16/03/30 23:23:25 信息 DAGScheduler：停止 DAGScheduler 16/03/30 23:23:25 INFO SparkDeploySchedulerBackend：关闭所有执行器 16/03/30 23:23:25 INFO SparkDeploySchedulerBackend：询问每个执行者关闭 16/03/30 23:23:25 INFO MapOutputTrackerMasterEndpoint：MapOutputTrackerMasterEndpoint 停了！ 16/03/30 23:23:25 信息实用程序：路径 = C:\Users\Developer\AppData\Local\Temp\spark-618a9039-a9d4-4fb2-bdc8-408d1e7f3c0e\blockmgr-4436a6d6-fca4-4190-ac2a-48c8ebd4e7db，已作为 root 存在以供删除。 16/03/30 23:23:25 信息 MemoryStore：MemoryStore 已清除 16/03/30 23:23:25 信息 BlockManager： BlockManager 停止 16/03/30 23:23:25 信息 BlockManagerMaster： BlockManagerMaster 停止 16/03/30 23:23:25 信息 OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator 停止了！ 16/03/30 23:23:25 信息 RemoteActorRefProvider$RemotingTerminator：关闭远程守护进程。 16/03/30 23:23:25 INFO SparkContext: 成功停止 SparkContext 16/03/30 23:23:25 信息 RemoteActorRefProvider$RemotingTerminator：远程守护进程关闭；继续刷新远程传输。 16/03/30 23:23:25 信息实用程序：称为 16/03/30 23:23:25 的关闭挂钩 INFO 实用程序：删除目录 C:\Users\Developer\AppData\Local\Temp\spark-618a9039-a9d4-4fb2-bdc8-408d1e7f3c0e

这是我的 pom.xml

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>Fyp</groupId>
  <artifactId>DSS</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  <build>
        <plugins>
            <plugin>
            <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>2.3.2</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                </configuration>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-jar-plugin</artifactId>
                <configuration>
                    <archive>
                        <manifest>
                            <addClasspath>true</addClasspath>
                            <classpathPrefix>lib/</classpathPrefix>
                            <mainClass>com.Polarity</mainClass>
                        </manifest>
                    </archive>
                </configuration>
            </plugin>
             <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <executions>
                    <execution>
                        <phase>compile</phase>
                        <goals>
                            <goal>compile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

    <dependencies>

        <!-- Import Spark -->


        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.10</artifactId>
            <version>1.4.0</version>
        </dependency>
         <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.10</artifactId>
            <version>1.4.0</version>
        </dependency> 
        <dependency>
        <groupId>org.springframework</groupId>
        <artifactId>spring-core</artifactId>
        <version>2.5</version>
        </dependency> 
        <dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.10</artifactId>
    <version>1.3.1</version>
</dependency>
    <dependency>  
      <groupId>jaws</groupId>  
      <artifactId>jaws</artifactId>  
      <version>1.2</version>  
      <type>jar</type>  
      <scope>system</scope>  
      <systemPath>G:/Workspace/DSS/lib/jaws-bin.jar</systemPath>  
 </dependency>  
<dependency>
  <groupId>commons-logging</groupId>
  <artifactId>commons-logging</artifactId>
  <version>1.1.3</version>
</dependency>
         <dependency>
            <groupId>edu.stanford.nlp</groupId>
            <artifactId>stanford-corenlp</artifactId>
            <version>3.5.2</version>
        </dependency>
        <dependency>
    <groupId>edu.stanford.nlp</groupId>
    <artifactId>stanford-parser</artifactId>
    <version>2.0.2</version>
    </dependency>
        <dependency>
  <groupId>edu.stanford.nlp</groupId>
  <artifactId>stanford-corenlp</artifactId>
  <version>3.5.0</version>
  <classifier>models</classifier>
</dependency>
        <dependency>
    <groupId>com.googlecode.json-simple</groupId>
    <artifactId>json-simple</artifactId>
    <version>1.1</version>
</dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.11</version>
            <scope>test</scope>
        </dependency>
    </dependencies>
    <properties>
     <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  </properties>

</project>

【问题讨论】：

找不到类定义 = 您的项目中没有正确的 jar，您需要将其添加到类路径中
但我为 jar 添加了 maven 依赖
那为什么会出现这个错误？？
好吧，我不是 maven 专家，但请编辑您的帖子以添加 pom.xml
你还有一个文件未找到异常：G:\Workspace\DSS\TextFile\part-00000

标签： java apache-spark stanford-nlp

【解决方案1】：

堆栈跟踪的第一行告诉您问题所在。

java.lang.NoClassDefFoundError: edu/stanford/nlp/trees/TreebankLanguagePack at

如果您在 Google 或 StackOverflow 中搜索 NoClassDefFoundError，您会找到描述如何解决此问题的文章。它不是特定于 Apache Spark。这是一个一般的Java问题。很可能您的 Java 类路径设置不正确——您在类路径中缺少“jar”文件、jar 版本错误或未包含类路径中的所有类文件。

您可能需要确定哪个“jar”包含类edu.stanford.nlp.trees.TreebankLanguagePack。在 Google 中搜索该类名称，表明您缺少的是 stanford-parser.jar。您可能还缺少其他罐子。

更新：现在你已经发布了你的 Maven 配置。我认为您指定了旧版本的 stanford-parser.jar，它不包含 TreebankLanguagePack 类。试试这个：

<dependency>
    <groupId>edu.stanford.nlp</groupId>
    <artifactId>stanford-parser</artifactId>
    <version>3.6.0</version>
</dependency>

【讨论】：

行家不应该这样做吗？
嗯，也许是的。他问异常是什么意思。
查看您的 maven 配置，很可能您指定了错误版本的“stanford-parser”，并且您使用的是旧版本并且与其他 jar 不兼容。

【解决方案2】：

有更好的方法来解决此类问题。使用 sbt 程序集（或 onejar），您可以为 spark 应用程序创建单个 fat jar。

AFAIK 这是所有地方的默认选择。

【讨论】：

【解决方案3】：

我已经解决了这个问题。该错误是由于缺少未在 SparkContext 中附加的 jar 文件。

这是我添加的罐子：

String jars[]={"lib/stanford-corenlp-1.3.5.jar","lib/stanford-parse-models-1.3.2.jar","lib/stanford-parser.jar","lib/stanford-parser-3.5.2-javadoc.jar","lib/stanford-postagger.jar","lib/stanford-postagger-3.5.2.jar","lib/stanford-postagger-3.5.2-javadoc.jar","lib/org.springframework.core-3.0.3.RELEASE.jar"};
     SparkConf sparkConf = new SparkConf().setAppName("DSS").setMaster("spark://192.168.1.100:7077").setJars(jars);

【讨论】：