使用 OpenCsv SerDe 创建 Hive 表

Question

我使用以下命令创建了表 -

 create table cust(event int, pid int, REQ_FROM_IP int, REQ_CITY_ID int, REQ_STATE_ID int, REQ_COUNTRY_ID int, key String) 
 ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'                                                                                 
 WITH SERDEPROPERTIES (                                                                                                                        
  "separatorChar" = "|",                                                                                                                       
    "quoteChar"     = "'",                                                                                                                     
    "escapeChar"    = "\\"                                                                                                                     
 )STORED AS TEXTFILE; 

但是创建的表的所有列都是字符串！

    desc cust;
    OK
event                   string                  from deserializer   
pid                     string                  from deserializer   
req_from_ip             string                  from deserializer   
req_city_id             string                  from deserializer   
req_state_id            string                  from deserializer   
req_country_id          string                  from deserializer   
key                     string                  from deserializer  

是 SerDe 弄乱了数据结构吗？

Answer 1

通过阅读源代码，看起来 OpenCSVSerde 将始终输出字符串列，而不考虑 HiveQL 查询中实际指定的类型。

一个潜在的（不是很漂亮的）解决方法可能是使用 OpenCSVSerde 来格式化临时表（定义可以与您当前对 cust 的定义相同，也许称它为 cust_staging。如果您使用如果您尝试以该格式加载数据并尝试在 Hive 中使用“正确”数据类型使用它，您可以像通常加载表一样填充 cust_staging，然后填充目标表 @ 987654324@ 带有 CTAS 语句，例如：

CREATE TABLE cust AS SELECT
  CAST(event AS INT) AS event,
  CAST(pid AS INT) AS pid,
  CAST(REQ_FROM_IP AS INT) AS REQ_FROM_IP,
  CAST(REQ_CITY_ID AS INT) AS REQ_CITY_ID,
  CAST(REQ_STATE_ID AS INT) AS REQ_STATE_ID,
  CAST(REQ_COUNTRY_ID AS INT) AS REQ_COUNTRY_ID,
  key
FROM cust_staging;

现在cust 将拥有您期望的列类型：

hive> DESCRIBE cust;
OK
event                       int                                 
pid                         int                                 
req_from_ip                 int                                 
req_city_id                 int                                 
req_state_id                int                                 
req_country_id              int                                 
key                         string                              
Time taken: 0.546 seconds, Fetched: 7 row(s)

根据@JeremyBeard 的出色意见，如果您可以从不使用“正确”类型实现数据，cust 实际上可以是一个视图：

CREATE VIEW `cust` -- All the other stuff is the same

要进一步深入研究这一推理，如果您的用例完全是只读的（您不必实际修改此数据），您可以将 cust_staging 定义为外部表（仍使用 OpenCSVSerde）指向您的管道分隔数据文件，然后将cust 定义为该外部表的视图。

但是，如果您的用例是您需要以 OpenCSVSerde 格式存储包含非字符串列的表，那么您仍然可以创建 cust_staging 表（同样，使用您最初的定义）并填充数据反方向：

INSERT INTO TABLE cust_staging SELECT * FROM cust;

如果所有这些仍然感觉不够优雅（可以理解） - 解决方案可能是将 OpenCSVSerde 扩展为自定义 SerDe，它可以执行您希望它执行的操作，而无需中间临时表。