【问题标题】:How to load comma delimited file with comma as a value to Hive如何将逗号分隔的文件作为 Hive 的值加载
【发布时间】:2017-03-31 08:51:30
【问题描述】:

我在逗号分隔文件的字段中得到逗号。请帮我将文件加载到 Hive。 例如:

Name,Description,Date
Gupta,Shradha,she is crazy,30/04/2017
Lokesh Ch,he is good,30/04/2017

Gupta 和 Shradha 应该放在“名称”字段下。

请帮忙。

【问题讨论】:

  • 除非我们可以假设Description 中没有逗号,否则不会发生。
  • 附言。无论如何 - 使用 ISO 日期格式 (YYYY-MM-DD)

标签: hive delimiter


【解决方案1】:

将所有值放在双引号内(如 "Gupta,Shradha","she is crazy","30/04/2017")并使用 OpenCSVSerde 解析数据文件

在创建表语句中包含以下属性

ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
WITH SERDEPROPERTIES (
   "separatorChar" = ",",
   "quoteChar"     = "\""
)

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2017-06-22
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2012-05-21
    • 1970-01-01
    • 2016-11-29
    • 2021-04-26
    相关资源
    最近更新 更多