如何在 Hive 中使用使用 Apache Drill 创建的 Parquet 文件答案

【问题标题】：How to use Parquet files created using Apache Drill inside Hive如何在 Hive 中使用使用 Apache Drill 创建的 Parquet 文件
【发布时间】：2017-05-28 08:50:19
【问题描述】：

Apache Drill 有一个很好的功能，可以从许多传入的数据集生成 parquet 文件，但似乎没有太多关于以后如何使用这些 parquet 文件的信息 - 特别是在 Hive 中。

Hive 有没有办法利用那些“1_0_0.parquet”等文件？也许创建一个表并从 parquet 文件加载数据，或者创建一个表并以某种方式将这些 parquet 文件放在 hdfs 中以便 Hive 读取它？

【问题讨论】：

Dynamically create Hive external table with Avro schema on Parquet Data的可能重复
不幸的是 Apache Drill 没有创建 Avro 模式，你是不是建议我手动创建一个？
是的.. 参考kitesdk.org/docs/0.17.1/labs/…

标签： hadoop hive parquet apache-drill

【解决方案1】：

我遇到过这个问题，如果您使用的是 Cloudera 发行版，您可以使用 impala 创建表（Impala 和 Hive 共享元存储），它允许从 parquet 文件创建表。不幸的是，Hive 不允许这样做

CREATE EXTERNAL TABLE table_from_fileLIKE PARQUET     '/user/etl/destination/datafile1.parquet'
STORED AS PARQUET
LOCATION '/user/test/destination';

【讨论】：