ClassNotFound:apache.hadoop.io.ImmutableBytesWritable 使用 Python 将 Spark 与 Hbase 集成答案

【问题标题】：ClassNotFound:apache.hadoop.io.ImmutableBytesWritable Integrating Spark with Hbase using PythonClassNotFound:apache.hadoop.io.ImmutableBytesWritable 使用 Python 将 Spark 与 Hbase 集成
【发布时间】：2015-09-25 21:37:20
【问题描述】：

我正在尝试集成 Spark 和 Hbase 并通过 python 使用它，并不断收到与 ClassNotFound 相关的错误。（第 77 -83 行）这是我正在使用的代码：https://github.com/apache/spark/blob/master/examples/src/main/python/hbase_inputformat.py#L70

它给我的错误是：

我是 Java 新手。我不确定 java 类的目录结构，因此我无法导航到可以找到所有这些类的文件夹。无论如何，有人可以告诉我如何获得 org.apache.hadoop.hbase.io.ImmutableByteWritable？

【问题讨论】：

如何提交申请？我想您使用 spark-submit，查找选项“--jars”并将路径传递给与您的 hbase 版本相对应的 hbase-client.jar
我正在使用 pyspark 并启动 python spark driver = ipython 来设置所有内容。我在 ipython shell 中运行命令。
是的，然后看看--jars 选项。如果您对此有任何疑问，请查看issues.apache.org/jira/browse/SPARK-5185。但首先尝试做某事，例如bin/pyspark --jars /path/to/hbase-client.jar ...
您对如何找到这个 hbase-client.jar 有什么建议吗？

标签： java python hadoop apache-spark hbase

【解决方案1】：

此文件是 HBase 的一部分。

确保您已在项目中包含此依赖项（Jar、Maven 依赖项）。

您可以执行 mvn dependency:tree 并确保您已包含此依赖项。

【讨论】：