Scalding 是否支持通过带 Parquet 的谓词下推进行记录过滤？答案

【问题标题】：Does Scalding support record filtering via predicate pushdown w/Parquet?Scalding 是否支持通过带 Parquet 的谓词下推进行记录过滤？
【发布时间】：2014-08-03 14:10:27
【问题描述】：

不必读取会导致过滤器失败的记录可以明显提高速度。我看到 Spark 支持它，但我没有找到任何关于如何使用 Scalding 进行操作的文档。

【问题讨论】：

标签： scalding parquet

【解决方案1】：

不幸的是，scalding-parquet 尚不支持此功能。我们 Tapad 开始致力于在烫伤中实现谓词支持。一旦我们得到一些工作，我们就会分享它。

我们已经实现了自己的 ParquetAvroSource，它可以读取/存储 parquet 中的 avro 记录。可以使用列投影并只读烫伤作业所需的列/字段。在某些情况下，使用此功能的作业仅读取 1% 的输入字节。

【讨论】：

您好 Oleksii，您认为可以分享您的 ParquetAvroSource 解决方案吗？我很想在烫伤中一起使用 Avro 对象模型和镶木地板存储。谢谢
我用 ParquetAvroSource 和 Projection 在自己的烫伤分支中创建了一个分支。由于我们的测试在 scala 测试中，但 scalding 使用规范，因此将其作为 pull request 进入 scalding 是不完整的。随意从我的 fork 中获取代码并提出问题 - github.com/epishkin/scalding/tree/parquet_avro/scalding-parquet

【解决方案2】：

谓词下推已添加到 Scalding，但尚未记录。更多详情见scalding issue #1089

【讨论】：