带有 Snappy 压缩的 Avro

【问题标题】：Avro with Snappy Compression带有 Snappy 压缩的 Avro
【发布时间】：2015-03-11 23:20:32
【问题描述】：

在 .NET Framework 4.5 中将 *.dat 文件转换为使用 Snappy 压缩的 *.avro 的任何指针。我想在我的 Hive 中使用 avro 文件。 hive 是否支持开箱即用的 Avro 格式。我是否需要提及 serde 来读取 avro 文件

【问题讨论】：

标签： c# compression hive avro azure-hdinsight

【解决方案1】：

Hive 支持 Avro 开箱即用：https://cwiki.apache.org/confluence/display/Hive/AvroSerDe

您可以在 Hive 中定义 Avro 表，类似于：

  CREATE TABLE kst
      PARTITIONED BY (ds string)
      ROW FORMAT SERDE
      'org.apache.hadoop.hive.serde2.avro.AvroSerDe'
      STORED AS INPUTFORMAT
      'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat'
      OUTPUTFORMAT
      'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat'
      TBLPROPERTIES (
        'avro.schema.url'='http://schema_provider/kst.avsc');

或从 Hive 0.14 开始，类似于：

CREATE TABLE kst (
    string1 string,
    string2 string
  )
  PARTITIONED BY (ds string)
  STORED AS AVRO;

【讨论】：