Apache Pig 中的 HCatalog 可以只加载特定分区吗？答案

【问题标题】：Can HCatalog in Apache Pig just load a specific partition?Apache Pig 中的 HCatalog 可以只加载特定分区吗？
【发布时间】：2014-05-06 22:41:59
【问题描述】：

我需要在 Pig 中加载某个分区（日期）的数据。此数据是在 Hive 中创建的，并按日期进行分区。所以我想通过 HCatalog 在 Pig 中加载数据。

HCatalog 文档说要在 Pig 中加载某个分区，首先要加载整个数据集，然后对其进行过滤，即：

a = load 'web_logs' using org.apache.hcatalog.pig.HCatLoader();
b = filter a by datestamp > '20110924';

https://cwiki.apache.org/confluence/display/Hive/HCatalog+LoadStore 但恐怕这首先将整个数据加载到包 a 中，然后只在 b 中过滤。我是对还是错？

在 Hive 中这有效（没有 HCat），您可以修剪数据以获得您想要的分区，即：

LOAD DATA  INPATH 'filepath' INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]

在带有 HCatalog 的 Pig 中这个构造的等价物是什么？

谢谢！

【问题讨论】：

标签： apache-pig hcatalog

【解决方案1】：

我看到你的问题有两个部分。

第 1 部分，https://cwiki.apache.org/confluence/display/Hive/HCatalog+LoadStore 但恐怕这首先将整个数据加载到包 a 中，然后仅将其过滤到 b 中。我说的对吗？

Ans 1) 否，当您在 load 语句之后应用过滤器时，hcatalog 足够智能以加载您在过滤器语句中指定的指定分区。

第 2 部分) LOAD DATA INPATH 'filepath' INTO TABLE 表名 [PARTITION (partcol1=val1, partcol2=val2 ...)]

在带有 HCatalog 的 Pig 中这个构造的等价物是什么？

Ans 2) 是的，您可以使用使用 org.apache.hcatalog.pig.HCatStorer('particol1=val1,partcol2=val2') 将 a 存储到 'tablename' 中；

例如：使用 org.apache.hcatalog.pig.HCatStorer('datestamp=20110924') 将 a 存储到 'tablename' 中；

如果您有任何疑问，请发表评论。

谢谢

【讨论】：

【解决方案2】：

文档指出，如果加载器（使用 HCatLoader()）紧跟过滤器，加载器将仅加载指定的分区，而不是加载整个数据集然后过滤掉记录。

来自《编程猪》一书：

"HCatalog 包含加载函数 HCatLoader。HCatLoader 的位置字符串是表的名称。它实现了 LoadMetadata，因此您不需要将模式指定为加载语句的一部分；Pig 将从 HCatLoader 获取它。另外，因为它实现了这个接口，Pig 可以使用 HCatalog 的分区，如果你在加载后立即放置描述要读取哪些分区的过滤器语句，Pig 会将其推送到加载中，以便 HCatalog 只返回相关的分区。 "

这本书非常好，目前在此处作为开源材料提供：http://chimera.labs.oreilly.com/books/1234000001811/ch12.html#cassandra

【讨论】：