【发布时间】:2017-05-03 15:20:24
【问题描述】:
我有一些带有“.spc”模式的二进制文件,我想通过 pig mapper 作业将这些文件存储到 HBase 中。 rowkey 是文件名。
以下是我使用的命令:
A = LOAD 'hdfs-directory/sampleID-uvvis.spc' USING BinStorage();
B = FOREACH A GENERATE $0 AS rowkey;
C = GROUP B BY rowkey;
STORE C INTO 'hbase://test3' USING BinStorage('colfamily:uvis');
我得到了如下错误:
[main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 2116:
<line 12, column 0> Output Location Validation Failed for: 'hbase://test3
More info to follow:
java.io.IOException: No FileSystem for scheme: hbase
加载后我还检查了文件:
Dump A
Input(s):
Successfully read 0 records (3353 bytes) from: "hdfs-directory-uvvis.spc"
Output(s):
Successfully stored 0 records in: "hdfs-directory/tmp/temp-
707332811/tmp1004712115"
有人可以帮我解决这个问题吗?如何将二进制文件加载并存储到HBase?
我是 HBase 和猪工作的新手,任何想法都将不胜感激。
【问题讨论】:
标签: java hadoop hbase apache-pig binaryfiles