批量加载到 hbase 时出错答案

【问题标题】：Error with bulk loading into hbase批量加载到 hbase 时出错
【发布时间】：2015-10-06 16:42:54
【问题描述】：

当我使用下面的 shell 命令将数据批量加载到 hbase 中时。

hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns=HBASE_ROW_KEY,cf1:val1,cf1:val2,cf1:val3 so_table /tmp/example/

我创建了一个文件并加载到像/tmp/example/ 这样的hdfs。每行的每种成分都用空格分隔。我认为这个分隔符空间导致所有行看起来都像坏行。有没有办法使用带空格的分隔符？

【问题讨论】：

标签： hbase bulk

【解决方案1】：

使用'-Dimporttsv.separator=" "'。

【讨论】：

【解决方案2】：

ImportTsv 有两种用法。一个只是普通的put，另一个是bulk load。您在上面给出的命令是用于常规 Put。但在问题中，您将其指定为批量加载。请选择正确的选项。

所以一旦决定了用法，然后是分隔符部分。 '-Dimporttsv.separator=" "' 是您使用分隔符的方式。默认为制表符分隔。查看 here 以了解 ImportTsv 的正确用法

【讨论】：