为烫伤添加 parquet-avro 支持

Question

如何创建一个Scalding Source 来处理avro 和parquet 之间的转换。

解决方案应该：

 1. Read from parquet format and convert to avro memory representation
 2. Write avro objects into a parquet file

注意：我注意到 Cascading 有一个用于利用 thrift 和 parquet 的模块。我突然想到这将是一个开始寻找的好地方。我还在google-groups/scalding-dev上开了一个帖子@

Answer 1

试试我们在这个分叉中的最新变化 - https://github.com/epishkin/scalding/tree/parquet_avro/scalding-parquet