将 jsoup 添加为提供的依赖项后，Storm 命令失败并显示 NoClassDefFoundError答案

【问题标题】：Storm command fails with NoClassDefFoundError after adding jsoup as provided dependency将 jsoup 添加为提供的依赖项后，Storm 命令失败并显示 NoClassDefFoundError
【发布时间】：2013-06-08 00:44:17
【问题描述】：

我在我的项目中使用 JSoup，并且我已经在我的 POM 文件中声明了依赖项。它编译得很好，运行也很好，但只有当我使用jar with all dependencies并将依赖范围更改为compiled时。

如果我将此范围更改为provided，那么我仍然可以正常编译，但不能运行它。它给了我ClassNotFoundException。我已经在 classpath 和 path 变量中包含了必要的 JAR 文件，但我仍然面临这个问题。

我可以使用 compile 选项，但我真的很烦我为什么不能使用提供的选项运行它，如果有人我会真的感激可以帮我弄清楚原因。

以下是我看到的错误：

java.lang.NoClassDefFoundError: Lorg/jsoup/nodes/Document;
    at java.lang.Class.getDeclaredFields0(Native Method)
    at java.lang.Class.privateGetDeclaredFields(Class.java:2300)
    at java.lang.Class.getDeclaredField(Class.java:1882)
    at java.io.ObjectStreamClass.getDeclaredSUID(ObjectStreamClass.java:1605)
    at java.io.ObjectStreamClass.access$700(ObjectStreamClass.java:50)
    at java.io.ObjectStreamClass$2.run(ObjectStreamClass.java:423)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.io.ObjectStreamClass.<init>(ObjectStreamClass.java:411)
    at java.io.ObjectStreamClass.lookup(ObjectStreamClass.java:308)
    at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1114)
    at java.io.ObjectOutputStream.writeObject(ObjectOutputStream.java:330)
    at backtype.storm.utils.Utils.serialize(Utils.java:52)
    at backtype.storm.topology.TopologyBuilder.createTopology(TopologyBuilder.java:94)
    at com.yahoo.amit.wordstorm.WordStormTopology.main(WordStormTopology.java:25)
Caused by: java.lang.ClassNotFoundException: org.jsoup.nodes.Document
    at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
    ... 14 more

以下是我的 POM 文件：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>

  <groupId>com.yahoo.amit.wordstorm</groupId>
  <artifactId>wordstorm</artifactId>
  <version>1.0-SNAPSHOT</version>
  <packaging>jar</packaging>

  <name>wordstorm</name>
  <url>http://maven.apache.org</url>

    <repositories>
        <repository>
            <id>clojars.org</id>
            <url>http://clojars.org/repo</url>
        </repository>
    </repositories>

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  </properties>

  <dependencies>
    <dependency>
            <groupId>storm</groupId>
            <artifactId>storm</artifactId>
            <version>0.8.2</version>
            <scope>provided</scope>
        </dependency>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>3.8.1</version>
      <scope>test</scope>
    </dependency>

    <dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.7.2</version>
    <scope>provided</scope>
</dependency>

  </dependencies>
  <build>
    <plugins>
            <!--
            bind the maven-assembly-plugin to the package phase
            this will create a jar file without the storm dependencies
            suitable for deployment to a cluster.
             -->
            <plugin>
                <artifactId>maven-assembly-plugin</artifactId>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                    <archive>
                        <manifest>
                            <mainClass></mainClass>
                        </manifest>
                    </archive>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>

            </plugin>
        </plugins>
        </build>
</project>

以下是我的系统变量：

echo $PATH

/Users/programmerman/Summer
Project/apache-maven-3.0.5/bin/:/Users/programmerman/Summer
Project/storm-0.8.2/bin/:/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/bin:/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/bin:/Users/programmerman/Summer
Project/CLASSPATH/jsoup-1.7.2.jar:/Users/programmerman/Summer
Project/CLASSPATH/*

echo $CLASSPATH

/Users/programmerman/Summer
Project/storm-0.8.2/storm-0.8.2.jar:/Users/programmerman/Summer
Project/storm-0.8.2/lib/*:/Users/programmerman/Summer
Project/storm-0.8.2/conf/storm.yaml:/Users/programmerman/SummerProject/storm-starter-masterPOM/target/storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar:/Users/programmerman/Summer
Project/CLASSPATH/jsoup-1.7.2.jar:/Users/programmerman/Summer
Project/CLASSPATH/*

【问题讨论】：

这个问题和答案 [这里][1] 可能会对您有所帮助。 [1]：stackoverflow.com/questions/12859787/…
您实际上是如何启动应用程序的？
@noahlz 这实际上是一个名为 Storm 的开源工具的项目，所以我使用这个命令：storm jar ./target/wordstorm-1.0-SNAPSHOT.jar com.mypack.MainClass
你的实际命令行是什么。您缺少 java 命令。
storm命令基本吐出java命令。这是它吐出来的：pastebin.com/cqDHpRA0

标签： java python maven apache-storm

【解决方案1】：

这既是关于 Maven 的问题，也是关于 Storm 及其部署模型的问题。你必须check out what the storm command actually does。首先，它实际上是一个 Python 脚本，最终调用了java。

如果您查看函数get_classpath(extrajars)，您会注意到它根本不使用$CLASSPATH 环境变量。相反，它会加载核心 Storm jar 和您在相对于您的工作目录的目录 lib/ 下拥有的任何 jar，以及 ~/.storm 下的配置文件

(你会发现忽略$CLASSPATH在许多Java应用程序中很常见。通常“启动脚本”做的第一件事就是覆盖CLASSPATH或根本不使用它。这是为了防止未知/不支持/更早您的 jar 版本不会导致您的应用程序出现问题）。

当jsoup被声明为“已提供”时，您的应用程序将失败：当您将jar声明为提供的依赖项时，它不会被打包在您的“带有依赖项的jar”程序集中。请参阅此问题以获得很好的解释：Difference between maven scope compile and provided for JAR packaging

tl;dr 的解释是编译范围随您的 uber-jar 一起提供，但提供的范围不是，因为它应该由您部署到的容器“提供”。通常，“容器”是 Java Web 服务器，例如 Tomcat（因此，您永远不必在 Java 中将 JSP 或 Servlet jar 与您的 Web 应用程序一起发布）。在这种情况下，您期望“提供”类的“容器”是 Storm。但是，Storm 不提供 jsoup，因此您的错误。

编译范围类仍然需要随您的应用程序一起提供，因为您的应用程序将实例化/使用接口、枚举等。

我的建议是只声明 jsoup “编译”范围并继续。另一种方法是编写您自己的定制部署脚本和/或程序集，将 jsoup 置于lib/ 下——最终本质上是相同的。

【讨论】：

太棒了。感谢您的挖掘，我真的很感激。你以前和 Storm 合作过吗？
我前一阵子跑了storm-starter。我大多只是渴望地看着它（没有使用它的商业案例）。然而，我对 Maven 的了解比健康方面还要多。

【解决方案2】：

Storm 脚本不使用 CLASSPATH 变量，而是将所有 jar 放在其类路径中的 STORM_DIR/lib 目录中。所以你有两个选择：

将 JSoup 依赖项的范围更改为“编译”范围，并将其与依赖项一起打包到 jar 中。
将 JSoup 依赖项保留在“已提供”范围内，并将 JSoup jar 复制到 STORM_DIR/lib 目录，以便 Storm 脚本自动将该 jar 放入其类路径中。

我强烈推荐选项 1 并遵循标准 Maven 方法。

仅供参考，这就是 Storm 脚本创建类路径字符串的方式：

def get_classpath(extrajars):
    ret = get_jars_full(STORM_DIR)
    ret.extend(get_jars_full(STORM_DIR + "/lib"))
    ret.extend(extrajars)
    return normclasspath(":".join(ret))

【讨论】：

【解决方案3】：

提供的 Maven 范围意味着依赖项包含在编译时，但不包含在运行时。容器/运行脚本应该明确地包含它，所以我可以看到你在正确的轨道上。

您可以检查以解决问题的其他事项是：

检查运行 java 程序的 shell 实例上的 CLASSPATH 环境变量。尽管您的用户 shell 上已经有正确的 CLASSPATH 值，但通常您必须创建一个新的 shell 实例（即：运行脚本）并且 CLASSPATH 变量不会传播。在 UNIX 上，这通常使用 export 命令完成
检查类路径路径是否有效，文件系统权限是否正确，jar 没有损坏
检查用于运行程序的 java 命令。如果您指定 -cp，它可能（或不）覆盖 CLASSPATH 环境变量

【讨论】：

是的，我检查了 1,2 和 3。没有运气。
其实是3。你必须调查storm命令（它实际上是一个python脚本，用-cp调用java。看我的答案。