【问题标题】:Hadoop - Load Hive tables using PIGHadoop - 使用 PIG 加载 Hive 表
【发布时间】:2015-10-03 09:54:08
【问题描述】:

我想使用 Pig 加载 Hive 表。我认为我们可以通过 HCatLoader 做到这一点,但我正在使用 xml 文件来加载 pig。为此,我必须使用 XMLLoader。我可以使用两个选项在 Pig 中加载 XML 文件吗?

我正在使用我自己的 UDF 从 XML 文件中提取数据,一旦我们提取了所有数据,我必须将 Pig 数据加载到 Hive 表中。

我无法使用 HIVE 提取 XML 数据,因为我收到的 XML 非常复杂,我编写了自己的 UDF 来解析 XML。任何建议或指示我们如何使用 PIG 数据加载 Hive 表。

我正在使用 AWS。

【问题讨论】:

    标签: hadoop hive apache-pig hcatalog


    【解决方案1】:

    您可以使用分隔符(可能是逗号)将加载的数据存储到文本文件中,然后在配置单元中创建一个指向您的文件位置的外部表。

    Create external table YOURTABLE (schema)
    row format delimited
    fields terminated by ','
    location '/your/file/directory';
    

    【讨论】:

    • 是的,但这不是一个优化的解决方案。这我们可以随时实现。我可以通过 hive 直接访问猪数据的任何指针。
    【解决方案2】:

    您可以使用 HCatStorer 将 pig 中的数据存储到 Hive 表中。例如:

    register 's3n://bucket/path/xmlUDF.jar'
    xml = LOAD 's3n://bucket/pathtofiles' USING xmlUDF();
    STORE xml INTO 'database.table' USING org.apache.hive.hcatalog.pig.HCatStorer();
    

    你的问题不是很清楚。您是否希望在 pig 中使用 XML 和 Hive 数据,做一些事情,然后将结果存储在 Hive 中?只是想将 XML 数据存储在 Hive 中并在那里使用它?

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2012-12-04
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多