如果列具有值数组，则 Sqoop 从 Hive 导出到 Netezza答案

【问题标题】：Sqoop export from Hive to Netezza if column has array of values如果列具有值数组，则 Sqoop 从 Hive 导出到 Netezza
【发布时间】：2016-09-05 12:12:06
【问题描述】：

我试图运行 sqoop 导出以将 Hive 表行加载到 Netezza 表中。问题是我有几列包含值数组，我在 Netezza 中为这些列数据类型创建 DDL 作为 varchar(200) 并运行sqoop 作业，但由于坏行达到限制，我收到错误消息。以下是我的 Sqoop 工作：

sqoop 导出 --options-file --direct --connect jdbc:netezza://10.90.21.140:5480/analytics --username sat144 --P --table analytics_stage --export-dir /home/dir1/analytics/data --fields-terminated-by '~' --input-null-string '\N' --input-null-non-string '\N' -m 1 -max-errors #0

我的 Netezza DDL 如下：
创建表 analytics_stage ( id varchar(30), 名称 varchar(60), 部门 nvarchar(99), dept_id nvarchar(200) );

我的 Hive 表列值如下

Row1: 20134(id) sat(name) Data_Group(dept) [121,103,201,212,310] (dept_id)

任何人都可以帮助我吗？如果 Hive 表中的列具有负值和值数组，那么 Netezza 中建议的数据类型是什么？？

Sqoop 错误日志如下

16/05/09 15:46:49 INFO mapreduce.Job: map 50% reduce 0% 2009 年 16 月 5 日 15:46:55 信息 mapreduce.Job：任务 ID：尝试_1460986388847_0849_m_000000_1，状态：失败错误：java.io.IOException：org.netezza.error.NzSQLException：错误：外部表：错误输入行数达到 maxerrors 限制

    at org.apache.sqoop.mapreduce.db.netezza.NetezzaExternalTableExportMapper.run(NetezzaExternalTableExportMapper.java:255)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:787)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:168)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:162)

原因：org.netezza.error.NzSQLException: ERROR: External Table : count of bad input rows reached maxerrors limit

【问题讨论】：

标签： hiveql netezza sqoop2 sqoop

【解决方案1】：

导入/导出功能可从 RDBMS 到 HDFS，反之亦然。但是在使用 Hive、HBase、Hcatalog 时，我们只有一种导入选项。到目前为止，我们无法从 Hive、Hbase 和 HCatalog 导出数据。

【讨论】：