【发布时间】:2015-05-19 10:49:09
【问题描述】:
我正在使用 sqoop 以 avro 格式将数据从 oracle 导入 hdfs。我想通过写入多个 hdfs 文件(每个映射器实例一个)来并行这个过程,因为记录顺序对我来说并不重要。在 sqoop 中是否有这样做的选项?
【问题讨论】:
标签: sqoop
我正在使用 sqoop 以 avro 格式将数据从 oracle 导入 hdfs。我想通过写入多个 hdfs 文件(每个映射器实例一个)来并行这个过程,因为记录顺序对我来说并不重要。在 sqoop 中是否有这样做的选项?
【问题讨论】:
标签: sqoop
需要使用--as-avrodatafile指定文件格式,使用-m 4指定mapper个数。
【讨论】: