Sqoop 使用查询导出答案

【问题标题】：Sqoop export using querySqoop 使用查询导出
【发布时间】：2018-01-08 21:01:57
【问题描述】：

我们正在尝试将数据从 HIVE 表导出到 HANA，能够使用 Sqoop 导出命令中的--hcatalog 表选项导出数据。

但是在尝试使用带有 where 子句的查询选项加载数据时遇到问题

是否可以在 sqoop 导出命令中使用查询选项？

我的 Sample scoop 命令如下所示

sqoop export -D sqoop.export.records.per.statement=1 -D mapreduce.map.memory.mb=16384 -D mapreduce.map.java.opts=-Xmx16384m  --connect "jdbc:xxxxxx" --driver "com.sap.db.jdbc.Driver" --username "xxxxx" --password "xxxxxx" --table "hanaschema.table1" --query "select field1,substr(field2,1),field3,field4,from "hadoopschema.table" where field1 = 2017 and field3 = 4" --input-null-string '\\N' --input-null-non-string '\\N' --num-mappers 20 –-validate

感谢您的帮助..

谢谢斯里尼

【问题讨论】：

你的表结构是什么分区的？

标签： hadoop sqoop bigdata

【解决方案1】：

很遗憾，Sqoop 导出尚不支持 --query 参数。我们只能将它与 Sqoop 导入命令一起使用。

有关 Sqoop 导出中可用选项的详细信息，请参阅Export control arguments 部分。

或者将查询的输出复制到另一个表中，然后将该表导出到 HANA。

【讨论】：