【问题标题】:How can hive load data from csv?蜂巢如何从 csv 加载数据?
【发布时间】:2015-02-26 07:05:39
【问题描述】:

我想实现apache hive,我想将数据从csv file加载到hive table。那么问题来了:

我的csv fileSQL Server 在它的结构中生成有“sign”,它变成了类似"04748/09","2248559","2248559","2009-12-03 00:00:00" 的东西。那么我怎样才能只获得没有“sign”的值呢?

非常感谢,我需要你的建议......

【问题讨论】:

  • 你知道,删除文件中的“?如果你有记事本++,你按 CTRL + H 然后搜索“,将替换留空,然后全部替换。
  • 哈哈哈谢谢兄弟,之前我觉得不对,但是我想再问一下,在hive上导入时如何忽略第一行,就像mysql导入一样?谢谢
  • 您只需在 csv 文本文件中删除您不想导入的内容。 CSV 只不过是 txt。您可以对其进行编辑、保存并完成。

标签: apache csv hadoop load hive


【解决方案1】:

在您的评论中提到的问题 - 当像 mysql 导入一样在配置单元上导入时,我如何忽略第一行? 从 Hive v0.13.0 开始,您可以使用 skip.header.line.count。您也可以在创建表时指定相同的值。例如:

Create external table testtable (name string, message string) row format delimited fields terminated by '\t' lines terminated by '\n' location '/testtable'
tblproperties ("skip.header.line.count"="1");

CREATE TABLE TEMP (f1 STRING, f2 String, f3 String, f4 String) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n' TBLPROPERTIES("skip.header.line.count"="1");

load data local inpath 'test.csv'
overwrite into table TEMP;

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2022-12-12
    • 2022-01-03
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-02-07
    • 1970-01-01
    相关资源
    最近更新 更多