hbase importtsv 未在 cloudera 中运行

Question

当我尝试将 csv 文件从 hdfs 导入到 hbase 时，我尝试使用以下命令使用 importtsv 工具：

sudo -u cloudera hadoop jar /opt/cloudera/parcels/CDH-5.0.2-1.cdh5.0.2.p0.13/lib/hbase/hbase-server-0.96.1.1-cdh5.0.2.jar importtsv ...

但是，我在这里遇到了一个例外：

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/filter/Filter
    at java.lang.Class.getDeclaredMethods0(Native Method)
    at java.lang.Class.privateGetDeclaredMethods(Class.java:2531)
    at java.lang.Class.getMethod0(Class.java:2774)
    at java.lang.Class.getMethod(Class.java:1663)
    at org.apache.hadoop.util.ProgramDriver$ProgramDescription.<init>(ProgramDriver.java:60)
    at org.apache.hadoop.util.ProgramDriver.addClass(ProgramDriver.java:103)
    at org.apache.hadoop.hbase.mapreduce.Driver.main(Driver.java:39)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.filter.Filter
    at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
    ... 12 more

有人知道这些问题吗？是因为cloudera新版CDH5的原因吗？

Answer 1

尝试像这样直接使用 hbase jar 运行它：

hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.skip.bad.lines=true -Dimporttsv.columns="$columns" $table_name $file

（如果 hbase 不在 classpath 中，则添加完整路径）

我也在使用 CDH5，它对我很有效