更快地导出 1 亿条记录的 Sqoop

Question

我有类似下面的查询

sqoop export 
    --connect jdbc:teradata://server/database=BIGDATA 
    --username dbuser 
    --password dbpw 
    -Dsqoop.export.records.per.statement=500
    --batch 
    --hive-table country
    --table COUNTRY
    --input-null-non-string '\\N' \ --input-null-string '\\N'  

上述查询对 300 万条记录运行良好（将数据加载到 TeraData 表需要 1 小时）。对于将数据导出到 Teradata 空表的 1 亿条记录，我认为完成导出可能需要更多时间。如何有效地编写查询以更快地导出数据而不会导致查询失败？

Answer 1

您可能需要考虑将您的 --fetch-size（sqoop 必须获取的每个数据勺的条目数）从默认的 1000 增加到 e.g --fetch-size 10000 0r 20000，具体取决于您的可用内存以及您的环境的带宽。