【问题标题】:Is it possible to create an external hive table on a parquet file with a different schema?是否可以在具有不同架构的镶木地板文件上创建外部配置单元表?
【发布时间】:2019-07-29 04:34:16
【问题描述】:

我的镶木地板文件结构如下:

+------+------------------+------------------+
| col1 |       col2       |        col3      |
+------+------------------+------------------+
|  v0  | { k1:v1, k2:v2 } | { k3:v3, k4:v4 } |
+------+------------------+------------------+

col2 和 col3 是映射列。 我希望在此之上创建一个具有以下架构的配置单元表,如下所示:

+-------+-----+-----+-----+-----+
| col1  |  k1 |  k2 |  k3 |  k4 |
+-------+-----+-----+-----+-----+
|  v0   |  v1 |  v2 |  v3 |  v4 |
+-------+-----+-----+-----+-----+

是否可以创建上述映射?我熟悉在 hbase 表上创建外部表的类似过程。

【问题讨论】:

    标签: hadoop hive parquet


    【解决方案1】:

    您可以通过以下步骤做到这一点:

    1.创建一个临时表并按原样存储文件(带有map列类型);

    2.使用您需要的最终结构创建第二个表;

    3.从临时表插入到第二个表。插入时需要使用一些功能,如:修剪、分割等。您可以使用this example

    【讨论】:

      猜你喜欢
      • 2015-05-18
      • 1970-01-01
      • 2021-12-02
      • 2019-05-15
      • 2020-12-20
      • 2019-03-30
      • 1970-01-01
      • 1970-01-01
      • 2023-03-19
      相关资源
      最近更新 更多