【问题标题】:Hive Error starting MRAppMaster java.lang.NoSuchMethodErrorHive 错误启动 MRAppMaster java.lang.NoSuchMethodError
【发布时间】:2021-09-13 13:50:28
【问题描述】:

当我们尝试将数据从一个配置单元表加载到另一个配置单元(从土地到原始)时,我们遇到了问题 我发现的所有答案和问题都不适用于我们的案例(例如,如果版本不同,则更改番石榴的版本 - 但在我们的案例中没关系)

java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V
    at org.apache.hadoop.conf.Configuration.set(Configuration.java:1358) ~[hadoop-common-3.1.1.3.1.4.0-315.jar:?]
    at org.apache.hadoop.conf.Configuration.set(Configuration.java:1339) ~[hadoop-common-3.1.1.3.1.4.0-315.jar:?]
    at org.apache.hadoop.mapreduce.v2.app.MRAppMaster.main(MRAppMaster.java:1690) [hadoop-mapreduce-client-app-3.1.1.3.1.4.0-315.jar:?]
2021-07-01T09:25:57,322 INFO [main] org.apache.hadoop.util.ExitUtil - Exiting with status 1: java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V
2021-07-01T09:25:57,326 INFO [shutdown-hook-0] org.apache.hadoop.mapreduce.v2.app.MRAppMaster - MRAppMaster received a signal. Signaling RMCommunicator and JobHistoryEventHandler.```

【问题讨论】:

  • NoSuchMethodError: com.google.common.base 绝对是番石榴问题
  • 不是番石榴——我们已经测试了这个假设
  • 好吧,堆栈跟踪不会说谎。版本可能不是问题。您需要提取 JAR 以实际查看可用的方法

标签: hadoop hive mapreduce hadoop-yarn


【解决方案1】:

我们通过删除用于 jdbc 连接的 jar 驱动程序列表中的一个未使用的 clickhouse 库文件解决了这个问题 - clickhouse-jdbc-0.1-SNAPSHOT-jar-with-dependencies.jar

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-11-04
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多