pyarrow 中有没有办法查询 parquet 数据集分区的值？

【问题标题】：Is there a way in pyarrow to query the values of parquet dataset partitions?pyarrow 中有没有办法查询 parquet 数据集分区的值？
【发布时间】：2018-11-28 23:02:15
【问题描述】：

例如，我有一个如下所示的数据集：

dataset
    ├── a=1
    │    └── 1.parquet
    ├── a=2
    │    └── 2.parquet
    ├── a=3
         └── 3.parquet

它被加载为dataset = pyarrow.parquet.ParquetDataset('./dataset') 如何在不将整个数据集读入内存的情况下查询分区“a”的可用条目？谢谢~

【问题讨论】：

标签： parquet pyarrow

【解决方案1】：

查看ParquetDataset 的pieces 属性。每个ParquetDatasetPiece 的partition_keys 属性将为您提供每个分区键的值。如果您对 API 有任何想法可以简化此操作，请在 Apache Arrow 中打开一个 JIRA 问题。

另请参阅https://issues.apache.org/jira/browse/ARROW-1956，了解读取分区数据集的特定部分。

【讨论】：

感谢@wes 的帮助。该信息包含在pieces 中，但需要进行一些挖掘。我创建了一个github gist 作为查询分区值的便捷方法。
如果您想打开一个关于在 pyarrow 中添加帮助方法以帮助解决此问题的 JIRA 问题，那就太好了。谢谢
我刚刚在 JIRA ARROW-3947 上打开了一个。谢谢@wes。