【问题标题】:How to use sqoop to import data from database to multiple hdfs file?如何使用 sqoop 将数据从数据库导入多个 hdfs 文件?
【发布时间】:2015-05-19 10:49:09
【问题描述】:

我正在使用 sqoop 以 avro 格式将数据从 oracle 导入 hdfs。我想通过写入多个 hdfs 文件(每个映射器实例一个)来并行这个过程,因为记录顺序对我来说并不重要。在 sqoop 中是否有这样做的选项?

【问题讨论】:

    标签: sqoop


    【解决方案1】:

    需要使用--as-avrodatafile指定文件格式,使用-m 4指定mapper个数。

    Documentation.

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2021-11-05
      • 1970-01-01
      • 1970-01-01
      • 2019-07-12
      • 1970-01-01
      • 2021-11-08
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多