使用 pig 在 hbase 中批量加载

Question

我在 HDFS 中有一个日志文件，需要对其进行解析并放入 Hbase 表中。

我想用 PIG 来做这个。

我该怎么做。Pig 脚本应该解析日志然后放入 Hbase？

Answer 1

猪脚本将是（假设选项卡是日志文件中的数据分隔符）：

A= load '/home/log.txt' using PigStorage('\t') as (one:chararray,two:chararray,three:chararray,four:chararray);

STORE A INTO 'hbase://table1' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage('P:one,P:two,S:three,S:four');