impala CREATE EXTERNAL TABLE 并删除双引号

Question

我得到了 CSV 上的数据，例如： "女性","44","0","0","Yes","Govt_job","Urban","103.59","32.7","曾吸烟"

我把它作为 hdfs 和 hdfs dfs put

现在我想在 impala 上创建外部表（不在 hive 中） 有没有双引号的选项？

这是我通过 impala-shell 运行的：

CREATE EXTERNAL TABLE IF NOT EXISTS test_test.test1_ext
( `gender` STRING,`age` STRING,`hypertension` STRING,`heart_disease` STRING,`ever_married` STRING,`work_type` STRING,`Residence_type` STRING,`avg_glucose_level` STRING,`bmi` STRING,`smoking_status` STRING ) 
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
LOCATION "/user/test/tmp/test1"

更新 28.11

我设法通过创建外部来做到这一点，然后在 concat() 每个列时创建一个带有 case 的 VIEW 作为选择。

Answer 1

Impala 使用 Hive 元存储，因此在发出 INVALIDATE METADATA dbname.tablename 后，在 Hive 中创建的任何内容都可以从 Impala 获得。但是，要删除您需要使用 Hive Serde 库 'org.apache.hadoop.hive.serde2.OpenCSVSerde' 的引号，这不能从 Impala 访问。我的建议是执行以下操作：

1. 在 Hive 中创建外部表 如果不存在则创建外部表 test_test.test1_ext （gender String，hypertension String，heart_disease String，work_type String，Residence_type String，avg_glucose_level String，smoking_status string ) 行格式 SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde' 具有SERDE属性 ( "separatorChar" = ",", "quoteChar" = "\"" )
   存储为文本文件 位置“/user/test/tmp/test1”

2. 使用 CTAS 在 Hive 中创建托管表 CREATE TABLE mytable AS SELECT * FROM test_test.test1_ext;

3. 使其在 Impala 中可用 无效元数据 db.mytable;