【发布时间】:2014-11-27 19:19:30
【问题描述】:
我正在将一个数据表从 Oracle 导入 HDFS。 我需要让 Sqoop 将列名作为标题写入导入文件(最终在 HDFS 中的文件)。有没有办法做到这一点?我基本上需要导入文件如下所示:
ID、国家、城市
1,美国,帕洛阿尔托
2,捷克共和国,布尔诺
3,美国,桑尼维尔
而不是以下:
1,美国,帕洛阿尔托
2,捷克共和国,布尔诺
3,美国,桑尼维尔
【问题讨论】:
我正在将一个数据表从 Oracle 导入 HDFS。 我需要让 Sqoop 将列名作为标题写入导入文件(最终在 HDFS 中的文件)。有没有办法做到这一点?我基本上需要导入文件如下所示:
ID、国家、城市
1,美国,帕洛阿尔托
2,捷克共和国,布尔诺
3,美国,桑尼维尔
而不是以下:
1,美国,帕洛阿尔托
2,捷克共和国,布尔诺
3,美国,桑尼维尔
【问题讨论】:
没有。
通常 HDFS 文件没有标头,因为它们会被 Hive 和 Pig 等组件视为数据,或者需要在 MapReduce 和 Spark 等编程框架中进行特殊处理。
如果您想将模式与数据一起携带,那么您可以考虑让 Sqoop 以 Avro 格式保存数据。
【讨论】: