【问题标题】:PIG cannot understand hbase table dataPIG 无法理解 hbase 表数据
【发布时间】:2013-12-16 10:50:24
【问题描述】:

我正在为我的学术项目在单个节点上运行 hbase(0.94.13)。将数据加载到 hbase 表后,我尝试使用 HBaseStorage 对数据运行 pig(0.11.1) 脚本。但是,这会引发错误提示

IllegalArgumentException:不是主机:端口对:�\00\00\00

这是我在 Pig 中使用的加载命令

books = LOAD 'hbase://booksdb' USING
org.apache.pig.backend.hadoop.hbase.HBaseStorage('details:title','-loadKey true') AS (ID:chararray,title:chararray);

我认为这可能是 hbase 在 pig 中的版本与我的机器不同的问题。但如果不降级我的 hbase 似乎无法使其工作。有什么帮助吗?

【问题讨论】:

    标签: hadoop hbase apache-pig hbasestorage


    【解决方案1】:

    您似乎正在尝试远程提交猪作业 如果是这样,您需要在 pig.properties 文件中添加一些设置(或在脚本中设置 setting_name='values')

    hbase.zookeeper.quorum=<node>
    hadoop.job.ugi=username,groupname
    fs.default.name=hdfs://<node>:port
    mapred.job.tracker=hdfs://<node>:port
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多