【问题标题】:HBase Bulk Load jar issueHBase 批量加载 jar 问题
【发布时间】:2014-09-24 20:05:20
【问题描述】:

我正在尝试在 Hbase 中进行批量加载。但我很困惑我应该为以下命令使用哪个 jar:

hadoop jar /usr/lib/hbase/hbase-0.94.6-cdh4.3.0-security.jar importtsv

当我执行这个命令时,有一个 java 类找不到异常。 我的 Hbase 版本是 hbase-0.98.5-hadoop1。我无法找到运行上述命令的正确 jar,并且在我的 hbase-0.98.5-hadoop1/lib 文件夹中找不到hbase-0.94.6-cdh4.3.0-security.jarhbase-0.98.5-hadoop1 版本的 hbase 是否有等效的 jar 。我是批量加载的新手,所以如果我问一个奇怪的问题,请原谅

【问题讨论】:

  • 嗨,我坚持了几天。有人知道这个答案吗?
  • 找不到的类是什么?
  • Bulk Load 一般使用哪个jar?在我的 hbase 版本中,我找不到合适的 jar。
  • 我也有 hbase 0.98.5 但我没有尝试过,因为我一直在使用 apache phoenix。我要问的是,找不到的类是什么?
  • 它显示 mapreduce.Driver 类丢失。但我使用了 hbase org.apache.hadoop.hbase.mapreduce.ImportTsv importtsv -Dimporttsv.columns=HBASE_ROW_KEY,f:count wordcount word_count.csv 命令。现在它显示 ERROR: No columns specified。请指定 -Dimporttsv.columns=... 用法:importtsv -Dimporttsv.columns=a,b,c this exception

标签: hbase


【解决方案1】:

如果你在类路径中有 hbase 的路径,你可以像这样直接运行它:

hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.skip.bad.lines=true -Dimporttsv.columns="$columns" $table_name $file

【讨论】:

  • hbase org.apache.hadoop.hbase.mapreduce.ImportTsv importtsv -Dimporttsv.columns=HBASE_ROW_KEY,f:count wordcount word_count.csv 我试过这个命令。但是下面显示异常:错误:未指定列。请指定 -Dimporttsv.columns=... 用法:importtsv -Dimporttsv.columns=a,b,c 我只有一个 columnfamily 'f'。我使用的命令有什么问题吗?
  • 请检查语法,你在org.apache.hadoop.hbase.mapreduce.ImportTsv之后指定了importtsv,你不应该这样做
  • 是的。现在错误消失了。我已经使用批量加载从文件中加载了数据。谢谢:)
  • 太棒了!! ...您能否将问题标记为已回答
猜你喜欢
  • 1970-01-01
  • 2016-05-04
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多