使用 Sqoop 增量导入作为块方式

【问题标题】：Using Sqoop incremental import as chunk-wise使用 Sqoop 增量导入作为块方式
【发布时间】：2013-05-18 11:48:50
【问题描述】：

真的可以通过sqoop增量导入来导入chunk-wise数据吗？

Say I have a table with rowid 1,2,3..... N (here N is 100) and now I want to import it as chunk. Like
1st import: 1,2,3.... 20
2nd import: 21,22,23.....40
last import: 81,82,83....100

我已经阅读了有关增量导入的 sqoop 作业，也知道 --last-value 参数，但不知道如何传递块大小。对于上面的例子，这里的块大小是 20。

【问题讨论】：

标签： hadoop import hive cloudera sqoop

【解决方案1】：

我最终编写了一个脚本，该脚本将在每次成功运行 sqoop 后使用新的 where 子句修改参数文件。我正在通过 Oozie 协调器运行两者。我想使用 --boundary-query 但它不适用于块。这就是为什么我不得不做这个解决方法。可以在此处找到此解决方法的详细信息：

http://tmusabbir.blogspot.com/2013/05/chunk-data-import-incremental-import-in.html

【讨论】：