修复 java.lang.NoSuchMethodError: com.amazonaws.util.StringUtils.trim答案

【问题标题】：Fixing java.lang.NoSuchMethodError: com.amazonaws.util.StringUtils.trim修复 java.lang.NoSuchMethodError: com.amazonaws.util.StringUtils.trim
【发布时间】：2018-12-21 06:33:13
【问题描述】：

考虑以下错误：

2018-07-12 22:46:36,087 FATAL [main] org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.NoSuchMethodError: com.amazonaws.util.StringUtils.trim(Ljava/lang/String;)Ljava/lang/String;
    at com.amazonaws.auth.profile.internal.AwsProfileNameLoader.getEnvProfileName(AwsProfileNameLoader.java:72)
    at com.amazonaws.auth.profile.internal.AwsProfileNameLoader.loadProfileName(AwsProfileNameLoader.java:54)
    at com.amazonaws.regions.AwsProfileRegionProvider.<init>(AwsProfileRegionProvider.java:40)
    at com.amazonaws.regions.DefaultAwsRegionProviderChain.<init>(DefaultAwsRegionProviderChain.java:23)
    at com.amazonaws.client.builder.AwsClientBuilder.<clinit>(AwsClientBuilder.java:57)
    at com.myorg.udb.DecodeMapper.setup(myMapper.java:71)
    at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:142)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:784)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:165)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1635)
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:160)

以及以下代码：

package com.myorg.udb;

import com.amazonaws.auth.AWSCredentials;
import com.amazonaws.auth.AWSStaticCredentialsProvider;
import com.amazonaws.auth.BasicAWSCredentials;
import com.amazonaws.auth.profile.internal.AwsProfileNameLoader;
import com.amazonaws.regions.Regions;
import com.amazonaws.services.s3.model.GetObjectRequest;
import com.amazonaws.services.s3.model.S3Object;
import com.amazonaws.util.StringUtils;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import org.json.simple.JSONObject;
import org.json.simple.parser.JSONParser;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import java.io.*;
import java.util.*;

public class myMapper extends Mapper<Object, Text, Text, Text> {
    @Override
    protected void setup(Context context) {
        try {
            System.out.println(StringUtils.trim("hi"));
        } catch(Exception e) {
            System.out.println("catch" + e);
        }
    }
    public void map(Object key, Text value, Context context
    ) throws IOException, InterruptedException {
    }
}

这一行：System.out.println(StringUtils.trim("hi")); 在 Qubole 中运行时导致 java.lang.NoSuchMethodError: com.amazonaws.util.StringUtils.trim，但在本地机器上运行良好。

这是我的 POM 导入：

<dependency>
    <groupId>com.amazonaws</groupId>
    <artifactId>aws-java-sdk-s3</artifactId>
    <version>1.11.365</version>
</dependency>


<dependency>
    <groupId>com.amazonaws</groupId>
    <artifactId>aws-java-sdk-core</artifactId>
    <version>1.11.365</version>
</dependency>

使用 Uber JAR 插件：

<plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-shade-plugin</artifactId>
    <version>3.1.1</version>
    <configuration>
        <!-- put your configurations here -->
    </configuration>
    <executions>
        <execution>
            <phase>package</phase>
            <goals>
                <goal>shade</goal>
            </goals>
        </execution>
    </executions>
</plugin>

为什么我在文件中导入com.amazonaws.util.StringUtils.trim，在POM中导入，然后将所有依赖项导出到一个胖JAR中，Hadoop还是找不到？

我需要什么导入才能使用com.amazonaws.util.StringUtils.trim？

这是我的依赖项

[INFO] --- maven-dependency-plugin:2.8:tree (default-cli) @ udb-aggregate ---
[INFO] com.org.myproject:jar:0.2.12-SNAPSHOT
[INFO] +- com.amazonaws:aws-java-sdk-s3:jar:1.11.365:compile
[INFO] |  +- com.amazonaws:aws-java-sdk-kms:jar:1.11.365:compile
[INFO] |  +- com.amazonaws:aws-java-sdk-core:jar:1.11.365:compile
[INFO] |  |  +- software.amazon.ion:ion-java:jar:1.0.2:compile
[INFO] |  |  +- com.fasterxml.jackson.core:jackson-databind:jar:2.6.7.1:compile
[INFO] |  |  |  +- com.fasterxml.jackson.core:jackson-annotations:jar:2.6.0:compile
[INFO] |  |  |  \- com.fasterxml.jackson.core:jackson-core:jar:2.6.7:compile
[INFO] |  |  +- com.fasterxml.jackson.dataformat:jackson-dataformat-cbor:jar:2.6.7:compile
[INFO] |  |  \- joda-time:joda-time:jar:2.8.1:compile
[INFO] |  \- com.amazonaws:jmespath-java:jar:1.11.365:compile
[INFO] +- org.apache.httpcomponents:httpclient:jar:4.5.2:runtime
[INFO] |  +- org.apache.httpcomponents:httpcore:jar:4.4.4:compile
[INFO] |  +- commons-logging:commons-logging:jar:1.2:compile
[INFO] |  \- commons-codec:commons-codec:jar:1.9:compile
[INFO] +- com.googlecode.json-simple:json-simple:jar:1.1:compile
[INFO] +- org.apache.hadoop:hadoop-common:jar:2.8.4:compile
[INFO] |  +- org.apache.hadoop:hadoop-annotations:jar:2.8.4:compile
[INFO] |  |  \- jdk.tools:jdk.tools:jar:1.8:system
[INFO] |  +- com.google.guava:guava:jar:11.0.2:compile
[INFO] |  +- commons-cli:commons-cli:jar:1.2:compile
[INFO] |  +- org.apache.commons:commons-math3:jar:3.1.1:compile
[INFO] |  +- xmlenc:xmlenc:jar:0.52:compile
[INFO] |  +- commons-io:commons-io:jar:2.4:compile
[INFO] |  +- commons-net:commons-net:jar:3.1:compile
[INFO] |  +- commons-collections:commons-collections:jar:3.2.2:compile
[INFO] |  +- javax.servlet:servlet-api:jar:2.5:compile
[INFO] |  +- org.mortbay.jetty:jetty:jar:6.1.26:compile
[INFO] |  +- org.mortbay.jetty:jetty-util:jar:6.1.26:compile
[INFO] |  +- org.mortbay.jetty:jetty-sslengine:jar:6.1.26:compile
[INFO] |  +- javax.servlet.jsp:jsp-api:jar:2.1:runtime
[INFO] |  +- com.sun.jersey:jersey-core:jar:1.9:compile
[INFO] |  +- com.sun.jersey:jersey-json:jar:1.9:compile
[INFO] |  |  +- org.codehaus.jettison:jettison:jar:1.1:compile
[INFO] |  |  +- com.sun.xml.bind:jaxb-impl:jar:2.2.3-1:compile
[INFO] |  |  |  \- javax.xml.bind:jaxb-api:jar:2.2.2:compile
[INFO] |  |  |     +- javax.xml.stream:stax-api:jar:1.0-2:compile
[INFO] |  |  |     \- javax.activation:activation:jar:1.1:compile
[INFO] |  |  +- org.codehaus.jackson:jackson-jaxrs:jar:1.8.3:compile
[INFO] |  |  \- org.codehaus.jackson:jackson-xc:jar:1.8.3:compile
[INFO] |  +- com.sun.jersey:jersey-server:jar:1.9:compile
[INFO] |  |  \- asm:asm:jar:3.1:compile
[INFO] |  +- log4j:log4j:jar:1.2.17:compile
[INFO] |  +- net.java.dev.jets3t:jets3t:jar:0.9.0:compile
[INFO] |  |  \- com.jamesmurty.utils:java-xmlbuilder:jar:0.4:compile
[INFO] |  +- commons-lang:commons-lang:jar:2.6:compile
[INFO] |  +- commons-configuration:commons-configuration:jar:1.6:compile
[INFO] |  |  +- commons-digester:commons-digester:jar:1.8:compile
[INFO] |  |  |  \- commons-beanutils:commons-beanutils:jar:1.7.0:compile
[INFO] |  |  \- commons-beanutils:commons-beanutils-core:jar:1.8.0:compile
[INFO] |  +- org.slf4j:slf4j-api:jar:1.7.10:compile
[INFO] |  +- org.slf4j:slf4j-log4j12:jar:1.7.10:compile
[INFO] |  +- org.codehaus.jackson:jackson-core-asl:jar:1.9.13:compile
[INFO] |  +- org.codehaus.jackson:jackson-mapper-asl:jar:1.9.13:compile
[INFO] |  +- org.apache.avro:avro:jar:1.7.4:compile
[INFO] |  |  +- com.thoughtworks.paranamer:paranamer:jar:2.3:compile
[INFO] |  |  \- org.xerial.snappy:snappy-java:jar:1.0.4.1:compile
[INFO] |  +- com.google.protobuf:protobuf-java:jar:2.5.0:compile
[INFO] |  +- com.google.code.gson:gson:jar:2.2.4:compile
[INFO] |  +- org.apache.hadoop:hadoop-auth:jar:2.8.4:compile
[INFO] |  |  +- com.nimbusds:nimbus-jose-jwt:jar:4.41.1:compile
[INFO] |  |  |  +- com.github.stephenc.jcip:jcip-annotations:jar:1.0-1:compile
[INFO] |  |  |  \- net.minidev:json-smart:jar:2.3:compile (version selected from constraint [1.3.1,2.3])
[INFO] |  |  |     \- net.minidev:accessors-smart:jar:1.2:compile
[INFO] |  |  |        \- org.ow2.asm:asm:jar:5.0.4:compile
[INFO] |  |  +- org.apache.directory.server:apacheds-kerberos-codec:jar:2.0.0-M15:compile
[INFO] |  |  |  +- org.apache.directory.server:apacheds-i18n:jar:2.0.0-M15:compile
[INFO] |  |  |  +- org.apache.directory.api:api-asn1-api:jar:1.0.0-M20:compile
[INFO] |  |  |  \- org.apache.directory.api:api-util:jar:1.0.0-M20:compile
[INFO] |  |  \- org.apache.curator:curator-framework:jar:2.7.1:compile
[INFO] |  +- com.jcraft:jsch:jar:0.1.54:compile
[INFO] |  +- org.apache.curator:curator-client:jar:2.7.1:compile
[INFO] |  +- org.apache.curator:curator-recipes:jar:2.7.1:compile
[INFO] |  +- com.google.code.findbugs:jsr305:jar:3.0.0:compile
[INFO] |  +- org.apache.htrace:htrace-core4:jar:4.0.1-incubating:compile
[INFO] |  +- org.apache.zookeeper:zookeeper:jar:3.4.6:compile
[INFO] |  |  \- io.netty:netty:jar:3.7.0.Final:compile
[INFO] |  \- org.apache.commons:commons-compress:jar:1.4.1:compile
[INFO] |     \- org.tukaani:xz:jar:1.0:compile
[INFO] +- org.apache.hadoop:hadoop-client:jar:2.8.4:compile
[INFO] |  +- org.apache.hadoop:hadoop-hdfs-client:jar:2.8.4:compile
[INFO] |  |  \- com.squareup.okhttp:okhttp:jar:2.4.0:compile
[INFO] |  |     \- com.squareup.okio:okio:jar:1.4.0:compile
[INFO] |  +- org.apache.hadoop:hadoop-mapreduce-client-app:jar:2.8.4:compile
[INFO] |  |  +- org.apache.hadoop:hadoop-mapreduce-client-common:jar:2.8.4:compile
[INFO] |  |  |  +- org.apache.hadoop:hadoop-yarn-client:jar:2.8.4:compile
[INFO] |  |  |  \- org.apache.hadoop:hadoop-yarn-server-common:jar:2.8.4:compile
[INFO] |  |  \- org.apache.hadoop:hadoop-mapreduce-client-shuffle:jar:2.8.4:compile
[INFO] |  |     \- org.fusesource.leveldbjni:leveldbjni-all:jar:1.8:compile
[INFO] |  +- org.apache.hadoop:hadoop-yarn-api:jar:2.8.4:compile
[INFO] |  +- org.apache.hadoop:hadoop-mapreduce-client-core:jar:2.8.4:compile
[INFO] |  |  \- org.apache.hadoop:hadoop-yarn-common:jar:2.8.4:compile
[INFO] |  |     \- com.sun.jersey:jersey-client:jar:1.9:compile
[INFO] |  \- org.apache.hadoop:hadoop-mapreduce-client-jobclient:jar:2.8.4:compile
[INFO] \- junit:junit:jar:4.12:test
[INFO]    \- org.hamcrest:hamcrest-core:jar:1.3:test

【问题讨论】：

在 99% 的情况下，这是由于构建的库版本与部署环境中安装的库不同。确保在两个地方都安装了相同的版本。
您的项目是否包含任何依赖于同一 JAR 早期版本的任何内容？您的 IDE 应该能够帮助您解决这个问题。如果是这样，您可能需要在 pom 文件中添加排除项。
看起来trim() 是在版本 1.8.2 中添加的，因此您运行的 Hadoop 版本似乎有一个旧版本取代了您部署的版本。
@Andreas hadoop 依赖于 aws sdk？
我正在使用<hadoop.version>2.6.0</hadoop.version>

标签： java mapreduce aws-java-sdk qubole

【解决方案1】：

很可能是由于班级的本地和远程差异。也许您提供的 JAR 已经出现在类路径中较早的不同版本中并且首先加载。查看this answer，了解如何在遥控器上找到包含类文件的JAR。

Class klass = StringUtils.class;
URL location = klass.getResource('/' + klass.getName().replace('.', '/') + ".class");

希望location 中包含 JAR 版本号，以便您可以根据本地版本确认远程版本。

由于您已经在进行着色，您可以通过重新打包依赖项来解决此问题，将第三方类重新定位到您自己的 com.myorg 包中，例如com.amazonaws.util.StringUtils 变为 com.myorg.com.amazonaws.util.StringUtils。见Using Package Relocation in the maven-shade-plugin。如果有很多或很大的依赖项，我不会这样做，但这取决于你。

【讨论】：

有趣的是，不幸的是，我不能这样做，因为我并没有真正使用StringUtils.trim，而是在我构建它内部使用的凭据时在下面的AmazonS3 s3client = AmazonS3ClientBuilder.standard() .withCredentials(new AWSStaticCredentialsProvider(credentials)) .withRegion(Regions.US_EAST_1) .build(); 中使用它
@Jal 也许然后将整个类路径打印到日志？
是的，这可能是我的下一步，虽然我对远程 jar 的不同之处感到困惑，因为我为 qubole 提供了一个胖 jar。
@Jal JAR 是从类路径加载的，以它们出现的顺序。如果在类路径的前面有一个包含相同完全限定类名的 JAR，则根本不会加载 JAR 中的类。加载的是类，而不是 JAR。
@Jal 不知道，总有一个自定义的内部类加载器会优先考虑用户或系统代码。

【解决方案2】：

我在运行 spark-submit 时遇到了这样的错误。我意识到代码是使用带有 hadoop 3.2 库的 spark 3.0.0 构建的，而我的本地 spark 版本是 2.4.7。我使用 hadoop 3.2 升级到 Spark 3，并将 aws-java-sdk-1.11.828.jar（这是我的代码使用的 sdk）复制到 spark jars 目录中，并且成功了！

【讨论】：