【问题标题】:ERROR org.apache.pig.tools.grunt.Grunt - ERROR 2998: Unhandled internal error. org/apache/hadoop/hbase/filter/WritableByteArrayComparable错误 org.apache.pig.tools.grunt.Grunt - 错误 2998:未处理的内部错误。 org/apache/hadoop/hbase/filter/WritableByteArrayComparable
【发布时间】:2014-01-28 13:04:21
【问题描述】:

通过搜索,我找到了这个问题,按照说明我遇到了同样的问题。

CDH4 Hbase using Pig ERROR 2998 java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/filter/Filter

但对我没有用。此外,我正在使用 Ubuntu 和 Hadoop-2.2.0、Hbase-0.96.1-hadoop2 和 Pig-0.12.0。

bashrc

export JAVA_HOME=/usr
export HADOOP_INSTALL=/home/ubuntu/hadoop-2.2.0
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_COMMON_HOME}/lib/native
export HADOOP_OPTS="-Djava.library.path=${HADOOP_COMMON_HOME}/lib"
export PIG_HOME=/home/ubuntu/pig-0.12.0
export HBASE_HOME=/home/ubuntu/hbase-0.96.1-hadoop2
export PIG_CLASSPATH="'${HADOOP_INSTALL}/bin/hbase classpath':$PIG_HOME/bin"

原木猪

Pig Stack Trace
---------------
ERROR 2998: Unhandled internal error.     
org/apache/hadoop/hbase/filter/WritableByteArrayComparable

java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/filter/WritableByteArrayComparable

猪的属性

fs.defaultFS=hdfs://hadoop-master/
mapred.job.tracker=hadoop-master:8021

【问题讨论】:

    标签: hadoop hbase apache-pig noclassdeffounderror


    【解决方案1】:

    我猜对了

    导出 PIG_CLASSPATH=$PIG_HOME/pig-0.12.0-withouthadoop.jar:$HBASE_HOME/hbase-0.94.1.jar:$HBASE_HOME/lib/*:$HADOOP_COMMON_LIB_NATIVE_DIR/lib/*:$PIG_CLASSPATH

    【讨论】:

    • 您说您使用的是 Hbase-0.96.1-hadoop2。那么为什么(以及从哪里)添加 $HBASE_HOME/hbase-0.94.1.jar 来导出?我也遇到了同样的问题。而且我没有 hbase-0.94.1.jar。我应该下载它吗?
    • 您可以在http://ftp.unicamp.br/pub/apache/hbase/stable/ 上获得它。您需要查找的名称是hbase-x-hadoop2
    • 谢谢!知道如何使用 pig-0.12 和 hbase-0.98.3 获得相同的效果吗?无论如何,另一个工作。只是想使用最新的。
    • 你必须检查 3 个版本的 pig vs hadoop vs hbase 是否兼容。
    • 好的。猜猜这会在发行说明中出现,对吧?
    猜你喜欢
    • 2022-08-17
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-05-14
    相关资源
    最近更新 更多