如何在镶木地板模式定义中指定列描述答案

【问题标题】：how to specify column description in parquet schema definition如何在镶木地板模式定义中指定列描述
【发布时间】：2015-12-10 21:45:27
【问题描述】：

我正在使用级联将 Text Delimited 转换为 parquet & avro 文件。我无法像 Avro 那样为 parquet 元数据中的列提供描述。当任何人使用数据集来获取有关数据集中字段的一些描述时，这将很有帮助。

下面是 Parquet 架构：

message LaunchApplication {
   required int field1;
   required binary field2;
   optional binary field3;
   required binary field4;
 }

下面是 avro 架构：

{ "type":"record", "name":"CascadingAvroSchema", "namespace":"", "fields":[
  {"name":"field1","type":"int","doc":"10,NOT NULL, KeyField"},
  {"name":"field2","type":"string","doc":"5,NOT NULL, FLAG, Indicator},
  {"name":"field3","type":["null","string"],"doc":"20,NULL, System Field."},
  {"name":"field4","type":"string","doc":"20,NOT NULL,MM/DD/YYYY,Record Changed Date."}  ]
}

我如何在 parquet 中跟踪 avro 文件中的“doc”部分？

【问题讨论】：

标签： hadoop parquet

【解决方案1】：

实际上 Parquet 也支持 Avro 模式。如果您使用 Avro 模式，Parquet 会从中推断出 Parquet 模式并且还将 Avro 模式存储在元数据中。

【讨论】：