Hadoop-Spark-HBase 错误：org.apache.hadoop.hbase.DoNotRetryIOException答案

【问题标题】：Hadoop-Spark-HBase Error: org.apache.hadoop.hbase.DoNotRetryIOExceptionHadoop-Spark-HBase 错误：org.apache.hadoop.hbase.DoNotRetryIOException
【发布时间】：2021-05-11 01:49:25
【问题描述】：

尝试运行作业以通过 spark 从 HBase 表中提取数据时出现以下错误。非常感谢任何帮助。

错误：

org.apache.hadoop.hbase.DoNotRetryIOException: java.lang.IllegalAccessError：试图访问方法 com.google.common.base.Stopwatch.()V 从类 org.apache.hadoop.hbase.zookeeper.MetaTableLocator

Hadoop Version: 3.1.1
HBase Version: 2.1.6
SPARK Version: 2.3.2

spark-submit --master yar  --conf spark.executor.extraClassPath=/etc/hbase/conf --conf spark.driver.extraClassPath=/etc/hbase/conf --class CLASS_NAME --packages com.hortonworks:shc-core:1.1.1-2.1-s_2.11 --repositories http://repo.hortonworks.com/content/groups/public/ JAR_FILE_NAME

POM 依赖：

 <dependencies>
  <dependency>
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-sql_2.11</artifactId>
  <version>2.3.2</version>
  </dependency>
           
  <dependency>
  <groupId>org.scala-lang</groupId>
  <artifactId>scala-library</artifactId>
  <version>2.11.11</version>
  </dependency>
            
 <dependency> <!-- Spark dependency -->
 <groupId>org.apache.spark</groupId>
 <artifactId>spark-core_2.11</artifactId>
 <version>2.3.2</version>
 <scope>provided</scope>
 </dependency>
 
 <dependency>
     <groupId>org.slf4j</groupId>
     <artifactId>slf4j-api</artifactId>
     <version>1.7.25</version>
 </dependency>
 <dependency>
     <groupId>org.slf4j</groupId>
     <artifactId>slf4j-simple</artifactId>
     <version>1.7.25</version>
 </dependency>
    

<dependency>
  <groupId>it.nerdammer.bigdata</groupId>
  <artifactId>spark-hbase-connector_2.10</artifactId>
  <version>1.0.3</version>
</dependency>

<!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-common -->
<dependency>
    <groupId>org.apache.hbase</groupId>
    <artifactId>hbase-common</artifactId>
    <version>2.1.6</version>
</dependency>

<!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-client -->
<dependency>
    <groupId>org.apache.hbase</groupId>
    <artifactId>hbase-client</artifactId>
    <version>2.1.6</version>
</dependency>

【问题讨论】：

标签： scala maven apache-spark hadoop hbase

【解决方案1】：

您需要运行兼容版本的 Hbase 和 Hadoop。

由于您的 Hadoop 版本是 3.1.1，请尝试使用 HBase-2.2.x 或 HBase-2.3.x Hbase 版本而不是 2.1.x。

您可以在文档中找到 Hbase Hadoop version support matrix。

【讨论】：

感谢 cmets，我会与我们的管理团队核实。
我确实与管理员交谈过，看起来像 cloudera 支持工程师也在调查它。

【解决方案2】：

我突破了。

就是这么简单。只需将语句 --jars /usr/hdp/current/hbase-client/lib/shaded-clients/hbase-shaded-mapreduce-2.1.6.3.1.5.0-152.jar 添加到您的 spark-submit 命令中。

谢谢！

【讨论】：