纱线集群模式下 Spark 作业的 ClassNotFoundException答案

【问题标题】：ClassNotFoundException for Spark job on Yarn-cluster mode纱线集群模式下 Spark 作业的 ClassNotFoundException
【发布时间】：2016-04-09 22:11:12
【问题描述】：

所以我试图在通过 Oozie 工作流启动的 Yarn-cluster 模式下运行 Spark 作业，但遇到以下错误（下面的相关堆栈跟踪）

java.sql.SQLException: ERROR 103 (08004): Unable to establish connection.
    at org.apache.phoenix.exception.SQLExceptionCode$Factory$1.newException(SQLExceptionCode.java:388)
    at org.apache.phoenix.exception.SQLExceptionInfo.buildException(SQLExceptionInfo.java:145)
    at org.apache.phoenix.query.ConnectionQueryServicesImpl.openConnection(ConnectionQueryServicesImpl.java:296)
    at org.apache.phoenix.query.ConnectionQueryServicesImpl.access$300(ConnectionQueryServicesImpl.java:179)
    at org.apache.phoenix.query.ConnectionQueryServicesImpl$12.call(ConnectionQueryServicesImpl.java:1917)
    at org.apache.phoenix.query.ConnectionQueryServicesImpl$12.call(ConnectionQueryServicesImpl.java:1896)
    at org.apache.phoenix.util.PhoenixContextExecutor.call(PhoenixContextExecutor.java:77)
    at org.apache.phoenix.query.ConnectionQueryServicesImpl.init(ConnectionQueryServicesImpl.java:1896)
    at org.apache.phoenix.jdbc.PhoenixDriver.getConnectionQueryServices(PhoenixDriver.java:180)
    at org.apache.phoenix.jdbc.PhoenixEmbeddedDriver.connect(PhoenixEmbeddedDriver.java:132)
    at org.apache.phoenix.jdbc.PhoenixDriver.connect(PhoenixDriver.java:151)
    at java.sql.DriverManager.getConnection(DriverManager.java:664)
    at java.sql.DriverManager.getConnection(DriverManager.java:208)
    ...
Caused by: java.io.IOException: java.lang.reflect.InvocationTargetException
    at org.apache.hadoop.hbase.client.ConnectionFactory.createConnection(ConnectionFactory.java:240)
    at org.apache.hadoop.hbase.client.ConnectionManager.createConnection(ConnectionManager.java:414)
    at org.apache.hadoop.hbase.client.ConnectionManager.createConnectionInternal(ConnectionManager.java:323)
    at org.apache.hadoop.hbase.client.HConnectionManager.createConnection(HConnectionManager.java:144)
    at org.apache.phoenix.query.HConnectionFactory$HConnectionFactoryImpl.createConnection(HConnectionFactory.java:47)
    at org.apache.phoenix.query.ConnectionQueryServicesImpl.openConnection(ConnectionQueryServicesImpl.java:294)
    ... 28 more
Caused by: java.lang.reflect.InvocationTargetException
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
    at java.lang.reflect.Constructor.newInstance(Constructor.java:422)
    at org.apache.hadoop.hbase.client.ConnectionFactory.createConnection(ConnectionFactory.java:238)
    ... 33 more
Caused by: java.lang.UnsupportedOperationException: Unable to find org.apache.hadoop.hbase.ipc.controller.ClientRpcControllerFactory
    at org.apache.hadoop.hbase.util.ReflectionUtils.instantiateWithCustomCtor(ReflectionUtils.java:36)
    at org.apache.hadoop.hbase.ipc.RpcControllerFactory.instantiate(RpcControllerFactory.java:58)
    at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation.createAsyncProcess(ConnectionManager.java:2317)
    at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation.<init>(ConnectionManager.java:688)
    at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation.<init>(ConnectionManager.java:630)
    ... 38 more
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.ipc.controller.ClientRpcControllerFactory
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:264)
    at org.apache.hadoop.hbase.util.ReflectionUtils.instantiateWithCustomCtor(ReflectionUtils.java:32)
    ... 42 more

一些背景资料：

作业在 spark 1.4.1 上运行（在 spark.conf 文件中指定了正确的 spark.yarn.jar 字段）。
oozie.libpath 设置为我的程序的 jar 所在的 hdfs 目录。
org.apache.hadoop.hbase.ipc.controller.ClientRpcControllerFactory，类未找到，存在于phoenix-4.5.1-HBase-1.0-client.jar中。我在我的 spark.conf 文件中的 spark.driver.extraClassPath 和 spark.executor.extraClassPath 中指定了这个 jar。我还在我的 pom 文件中添加了 phoenix-core 依赖项，因此该类也存在于我的阴影项目 jar 中。

目前的观察结果：

在我的 spark.conf 文件 spark.driver.userClassPathFirst 中添加一个额外字段并将其设置为 true 可以消除 classnotfound 异常。但是，它也阻止我初始化火花上下文（空指针异常）。从谷歌搜索看来，包含这个字段会弄乱类路径，所以可能不是解决方法，因为我什至无法以这种方式初始化 spark 上下文。
我注意到在 oozie 标准输出日志中，我没有看到 phoenix jar 的类路径。所以也许由于某种原因 spark.driver.extraClassPath 和 spark.executor.extraClassPath 实际上并没有将 jar 作为 extraClassPath 拾取？我知道我指定了正确的 jar 文件路径，因为其他作业的 spark.conf 文件具有相同的参数。
我找到了一种使 phoenix jar 显示在类路径中（在 oozie 标准输出日志中）的方法，方法是将 jar 复制到与我的程序 jar 所在的目录相同的目录中。无论 spark.executor.extraClassPath 是否更改为指向新的 jar 位置，这都有效。但是，classnotfound 异常仍然存在，即使我在解压缩 jar 时清楚地看到了 ClientRpcControllerFactory jar）

我尝试过的其他事情：

我尝试使用 sparkConf.setJars() 和 sparkContext.addJar() 方法，但仍然遇到同样的错误
在我的作业属性文件的 spark.driver.extraClassPath 字段中添加了 jar，但它似乎没有帮助（Spark 文档指出在客户端模式下运行时此字段是必需的，因此可能与我的案例）

任何帮助/想法/建议将不胜感激。

【问题讨论】：

似乎上述异常跟踪不是由 Spark Job 生成的。我没有看到它源自 Spark 类。 Oozie 工作流是否有可能也在实例化 Hbase/Phoenix 连接，并且在您的 spark 作业启动之前也是如此？
如果 Phoenix JAR 存在于oozie.libpath 指向的 HDFS 目录中，那么 Oozie 会告诉 YARN 将其下载到 Oozie Launcher 的容器中，在 Current Working Dir 中，它会显示在 StdOut 中（在文件列表和 CLASSPATH 中）。
spark.***.extraClassPath 属性由 Spark 运行时管理； Oozie 和 YARN 不知道它们，因此它们对 Oozie 启动器的 StdOut 中列出的初始 CLASSPATH 没有影响。
请注意，Spark 1.6 提供了一系列与 YARN 下的 CLASSPATH 问题相关的错误修复。不过，并不是全部。
您好 Sumit，感谢您的回复。我认为您是对的，该错误不一定与这是 Spark 作业相关，因为此错误出现在我需要初始化 spark 上下文之前。所以是的，这可以被视为任何其他 classnotfound 异常。令我困惑的是，我通过 jvm 选项 -verbose:class 检查了类是否通过我的应用程序 jar 正确加载，但它抱怨找不到该类。

标签： scala hadoop apache-spark hadoop-yarn phoenix

【解决方案1】：

我使用 CDH 5.5.1 + Phoenix 4.5.2（都安装了包裹）并遇到了同样的问题。我认为切换到客户端模式后问题就消失了。我无法验证这一点，因为我现在在集群模式下遇到其他错误。

我尝试追踪 Phoenix 的源代码，发现了一些有趣的东西。希望 Java / Scala 专家找出根本原因。

PhoenixDriver 类已加载。这表明最初发现了罐子。层层加载器之后/ 上下文切换 (?)，jar 从类路径中丢失。

如果我在我的程序中Class.forName() 一个不存在的类，则无需调用sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)。堆栈是这样的：

java.lang.ClassNotFoundException: NONEXISTINGCLASS
at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:264)

我将 Phoenix 代码复制到我的程序中进行测试。如果我打电话给ConnectionQueryServicesImpl.init (ConnectionQueryServicesImpl.java:1896)，我仍然会收到ClassNotFoundExcpetion。但是，对 ConnectionQueryServicesImpl.openConnection (ConnectionQueryServicesImpl.java:296) 的调用返回了可用的 HBase 连接。所以似乎PhoenixContextExecutor 导致了罐子的丢失，但我不知道是怎么回事。

Cloudera Phoenix 4.5.2 源码：https://github.com/cloudera-labs/phoenix/blob/phoenix1-4.5.2_1.2.0/phoenix-core/src/main/java/org/apache/

（不确定我是否应该发表评论......但无论如何我没有声誉）

【讨论】：

【解决方案2】：

所以我设法解决了我的问题并开始了我的工作。我的解决方案非常 hacky，但会在此处发布，以防将来对其他人有所帮助。

基本上，据我了解，问题在于负责查找ClientRpcControllerFactory 类的org.apache.hadoop.hbase.util.ReflectionUtils 类是从集群中的某个cloudera 目录而不是我自己的jar 加载的。当我将spark.driver.userClassPathFirst 设置为true 时，它优先从我的jar 中加载ReflectionUtils 类，因此能够定位ClientRpcControllerFactory 类。但是，当我尝试初始化 SparkContext 时，这弄乱了其他一些类路径并不断给我一个 NullPointerException，所以我寻找了另一种解决方案。

我试图弄清楚是否可以将所有默认 cdh jar 排除在我的类路径中，但发现 spark.yarn.jar 中的值正在拉入所有这些 cdh jar，我肯定需要指定那个罐子。

所以解决方案是将Phoenix jar中org.apache.hadoop.hbase下的所有类包含到spark-assembly jar（spark.yarn.jar指向的jar）中，这样就摆脱了原来的异常并且没有给我一个尝试初始化 SparkContext 时的 NPE。我发现现在 ReflectionUtils 类正在从 spark-assembly jar 加载，并且由于 ClientRpcControllerFactory 也包含在该 jar 中，所以它能够找到它。在这之后，我又遇到了一些 Phoenix 类的 classNotFoundExceptions，所以我也将这些类放入 spark-assembly jar 中。

最后，我遇到了java.lang.RuntimeException: hbase-default.xml File Seems to be for and old Version of HBase 问题。我发现我的应用程序 jar 包含这样一个文件，但是将 hbase.defaults.for.version.skip 更改为 true 并没有做任何事情。所以我在 spark-assembly jar 中包含了另一个 hbase-default.xml 文件，其中跳过标志为 true，它终于起作用了。

一些观察：

我注意到我的 spark-assembly jar 完全缺少 org.apache.hadoop.hbase 目录。一位同事告诉我，通常我应该期望在我的 spark-assembly jar 中找到一个 hbase 目录，所以也许我正在使用一个糟糕的 spark-assembly jar。编辑：我检查了一个新下载的 spark-assembly jar (v1.5.2)，但它没有，所以可能 apache.hadoop.hbase 包不包含在其中。
ClassNotFoundExceptions 和类加载器问题很难调试。

【讨论】：