具有复杂数据类型的镶木地板格式的 Hive DDL

【问题标题】：Hive DDL for parquet formate with complex datatypes具有复杂数据类型的镶木地板格式的 Hive DDL
【发布时间】：2015-12-11 02:13:40
【问题描述】：

有人可以帮我为这个以 Parquet 格式处理和存储的数据集创建 Hive DDL。

属性：

{
  "freq": "8600",
  "id": "23266",
  "array": [
    {
      "ver": "201.0.0.F",
      "key_ver": "201.0.0.F",
      "key": "001I1SS",
      "code": "ACDEE",
      "prod_code": "DSADVVSS",
      "prod_key": "001123"
    }
  ],
  "ipm": null,
  "offline": "1234234209600"
}

【问题讨论】：

标签： hadoop hive ddl parquet

【解决方案1】：

CREATE TABLE my_table(freq INT, id INT, array<struct<ver: FLOAT, key_ver: FLOAT, key: STRING, code: STRING, prod_code: STRING, prod_key: INT>>, ipm: **UNKOWN**, offline: BIGINT>

由于 JSON 的类型比 Hive 少得多，因此我们无法仅从您发布的内容中获取所需的所有信息。比如我们不知道ipm应该是什么类型，也不知道id应该是INT还是BIGINT等等。

由于您已经将该 JSON 文件转换为 Parquet 文件，您可以检查 Parquet 文件（具有更多类型）以更好地了解要使用的 Schema。

【讨论】：