Spark 运行时错误：spark.metrics.sink.MetricsServlet 无法实例化答案

【问题标题】：Spark runtime error: spark.metrics.sink.MetricsServlet cannot be instantializedSpark 运行时错误：spark.metrics.sink.MetricsServlet 无法实例化
【发布时间】：2015-04-20 08:13:56
【问题描述】：

在 IntelliJ 的 maven 中使用 spark 1.3 lib 运行项目时，我遇到了调用目标异常。

我只在 IntelliJ IDE 中遇到了这个错误。在我部署 jar 并通过 spark-submit 运行后，错误就消失了。

有人遇到过同样的问题吗？我希望能解决这个问题，以便于调试。否则每次我想运行代码时都必须打包jar。

详情如下：

    2015-04-21 09:39:13 ERROR MetricsSystem:75 - Sink class org.apache.spark.metrics.sink.MetricsServlet cannot be instantialized
    2015-04-21 09:39:13 ERROR TrainingSFERunner:144 - java.lang.reflect.InvocationTargetException
    2015-04-20 16:08:44 INFO  BlockManagerMaster:59 - Registered BlockManager
    Exception in thread "main" java.lang.reflect.InvocationTargetException
        at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
        at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
        at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
        at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
        at org.apache.spark.metrics.MetricsSystem$$anonfun$registerSinks$1.apply(MetricsSystem.scala:187)
        at org.apache.spark.metrics.MetricsSystem$$anonfun$registerSinks$1.apply(MetricsSystem.scala:181)
        at scala.collection.mutable.HashMap$$anonfun$foreach$1.apply(HashMap.scala:98)
        at scala.collection.mutable.HashMap$$anonfun$foreach$1.apply(HashMap.scala:98)
        at scala.collection.mutable.HashTable$class.foreachEntry(HashTable.scala:226)
        at scala.collection.mutable.HashMap.foreachEntry(HashMap.scala:39)
        at scala.collection.mutable.HashMap.foreach(HashMap.scala:98)
        at org.apache.spark.metrics.MetricsSystem.registerSinks(MetricsSystem.scala:181)
        at org.apache.spark.metrics.MetricsSystem.start(MetricsSystem.scala:98)
        at org.apache.spark.SparkContext.<init>(SparkContext.scala:390)
        at org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:61)
        at spark.mllibClassifier.JavaRandomForests.run(JavaRandomForests.java:105)
        at spark.mllibClassifier.SparkMLlibMain.runMain(SparkMLlibMain.java:263)
        at spark.mllibClassifier.JavaRandomForests.main(JavaRandomForests.java:221)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:606)
        at com.intellij.rt.execution.application.AppMain.main(AppMain.java:134)
    Caused by: java.lang.NoSuchMethodError: com.fasterxml.jackson.databind.module.SimpleSerializers.<init>(Ljava/util/List;)V
        at com.codahale.metrics.json.MetricsModule.setupModule(MetricsModule.java:223)
        at com.fasterxml.jackson.databind.ObjectMapper.registerModule(ObjectMapper.java:469)
        at org.apache.spark.metrics.sink.MetricsServlet.<init>(MetricsServlet.scala:45)

我的pom文件如下。

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>projects</groupId>
    <artifactId>project1</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>

        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-lang3</artifactId>
            <version>3.0</version>
        </dependency>


        <dependency>
            <groupId>org.apache.lucene</groupId>
            <artifactId>lucene-core</artifactId>
            <version>5.0.0</version>
        </dependency>

        <dependency>
            <groupId>org.apache.lucene</groupId>
            <artifactId>lucene-analyzers-common</artifactId>
            <version>5.0.0</version>
        </dependency>

        <dependency>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
            <version>1.2.17</version>
        </dependency>

        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>3.8.1</version>
            <scope>test</scope>
        </dependency>

        <dependency>
            <groupId>commons-io</groupId>
            <artifactId>commons-io</artifactId>
            <version>2.1</version>
            <scope>test</scope>
        </dependency>



            <dependency>
                <groupId>org.apache.spark</groupId>
                <artifactId>spark-core_2.10</artifactId>
                <version>1.3.0</version>
            </dependency>
            <dependency>
                <groupId>org.apache.spark</groupId>
                <artifactId>spark-mllib_2.10</artifactId>
                <version>1.3.0</version>
            </dependency>


        <dependency>
            <groupId>colt</groupId>
            <artifactId>colt</artifactId>
            <version>1.2.0</version>
        </dependency>


    </dependencies>

    <build>
    <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-compiler-plugin</artifactId>
            <version>3.2</version>
            <configuration>
                <source>1.7</source>
                <target>1.7</target>
            </configuration>
        </plugin>

        <plugin>
            <artifactId>maven-assembly-plugin</artifactId>
            <executions>
                <execution>
                    <phase>package</phase>
                    <goals>
                        <goal>single</goal>
                    </goals>
                </execution>
            </executions>
            <configuration>
                <descriptorRefs>
                    <descriptorRef>jar-with-dependencies</descriptorRef>
                </descriptorRefs>
            </configuration>
        </plugin>

    </plugins>
    </build>
</project>

【问题讨论】：

我建议您尝试阅读有关如何在 stackoverflow 上提问的信息，因为这确实是一个低质量的问题stackoverflow.com/help/how-to-ask
@eliasah 谢谢。已编辑:)
看起来可能是您的 IDE 环境为您提供了与 Spark 运行时环境不同的 Jackson 版本。
@MartinSerrano 感谢您的回复。您知道如何检查两种环境的 Jackson 版本吗？如果不同，如何更改设置？
也许将您的 pom.xml 添加到问题中。我真的不知道，这只是一个猜测

标签： java maven intellij-idea apache-spark maven-3

【解决方案1】：

奇怪的是，当我将 spark 相关的依赖项移到前面时，我发现错误不再出现。

   <dependencies>
         <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.10</artifactId>
            <version>1.3.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-mllib_2.10</artifactId>
            <version>1.3.0</version>
        </dependency>
        //....the rest dependencies....

    </dependencies>

所以依赖的顺序很重要！有人知道为什么吗？

【讨论】：

【解决方案2】：

我认为这里的问题在于杰克逊依赖。我有类似的问题，问题是多个 jackson-core 和 jackson-databind 版本。我认为这是与scala相关的问题。无论如何，将这 2 个 jackson 依赖项添加到具有较低版本的 pom 中，它应该可以工作。也许您不会从第一次尝试中找到正确的版本。这个对我有用。

    <jackson-core.version>2.4.4</jackson-core.version>
    <spark.version>2.3.0</spark.version>
    <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core -->
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>${spark.version}</version>
    </dependency>

    <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-mllib -->
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-mllib_2.11</artifactId>
        <version>${spark.version}</version>
    </dependency>        
    <!-- https://mvnrepository.com/artifact/com.fasterxml.jackson.core/jackson-core -->
    <dependency>
        <groupId>com.fasterxml.jackson.core</groupId>
        <artifactId>jackson-core</artifactId>
        <version>${jackson-core.version}</version>
    </dependency>

    <!-- https://mvnrepository.com/artifact/com.fasterxml.jackson.core/jackson-databind -->
    <dependency>
        <groupId>com.fasterxml.jackson.core</groupId>
        <artifactId>jackson-databind</artifactId>
        <version>${jackson-core.version}</version>
    </dependency>

【讨论】：

【解决方案3】：

Jackson 依赖问题 - 我有 spark3.0.3-hadoop2.7 版本，并且有 2 个版本的 jackson 注释和数据绑定 jar。删除了这些，这个错误得到了解决。

【讨论】：