sqoop导入命令的查询参数中能否有两个sql查询

Question

我正在尝试将两个表从 RDBMS 导入 Hive。是否有可能在 sqoop 导入命令的 --query 参数中触发两个 sql 查询。

目前，我可以使用以下命令使用一个 sql 查询对表进行 sqoop：

sqoop import --connect jdbc:teradata://192.168.xx.xx/DBS_PORT=1025,DATABASE=ds_tbl_db 
--driver com.teradata.jdbc.TeraDriver 
--username dbc 
--password dbc 
--query 'select * from table' 
--hive-import 
--hive-table reason_hive 
--target-dir <hdfs-location> 
-m 1

Answer 1

不，您不能在 --query 参数中使用两个 SQL 将输出存储在两个不同的 Hive 表中。

你必须一件一件地去做。

编辑：

您不能完全依赖 sqoop 来执行 SQL 查询。通过 Sqoop 支持连接查询。但推荐只使用简单的查询。

Sqoop 期望在 sql 查询结束时有WHERE $CONDITIONS。由 sqoop 代替执行范围查询，以便多个 mapper 可以并行运行 SQL 查询。详情请查看我的另一个answer。

示例查询：

--query "SELECT a.*, b.* FROM a JOIN b on (a.id == b.id) WHERE \$CONDITIONS"

在您的 sqoop 命令中添加 -verbose 以查看 sqoop 为问题触发的查询。