如何使用 Sqoop libjars 选项？答案

【问题标题】：How to use Sqoop libjars option?如何使用 Sqoop libjars 选项？
【发布时间】：2018-09-11 16:50:40
【问题描述】：

我正在使用 sqoop 导入工具将数据导入 HBASE 表。而且我创建了一个自定义的 PutTransformer 类，并且我提供了 jar 和属性以使用自定义转换器，但它没有考虑自定义转换器类。

谁能帮帮我。

Sqoop 命令：

sqoop import -libjars /home/ghk/hbase/poc/customsqoop.jar -D sqoop.hbase.insert.put.transformer.class=com.sqoop.transformer.CustomPutTransformer --connect 'jdbc:oracle:thin: @//XX.XY.XA.XZ:1521/a701' --table XYZ.TEMP_HBASE_TYPE2 --columns 'TID, HBASE_TYPE, DESCRIPTION, IS_DELETED, CREATED' --hbase-create-table --hbase-table 'TEMP_HBASE_TYPE2' --column-family CLMN --hbase-row-key 'TID' --fetch-size '10000' --class-name 'HBaseType' --split-by 'TID' --username xxx--password xxxyy -- compress --compression-codec org.apache.hadoop.io.compress.SnappyCodec --num-mappers 3 --outdir /home/ghk/hbase/poc/SqoopClasses

问候， GHK。

【问题讨论】：

它现在可以工作了。谢谢。
您介意共享日志或您可能遇到的任何错误异常吗？

标签： sqoop

【解决方案1】：

使用/etc/sqoop/conf/sqoop-env.sh中定义的环境变量“SQOOP_USER_CLASSPATH”，不要使用libjars参数。

$ grep USER /etc/sqoop/conf/sqoop-env.sh 
export SQOOP_USER_CLASSPATH="`ls ${HIVE_HOME}/lib/libthrift-*.jar 2> /dev/null`:${SQOOP_USER_CLASSPATH}"
$ export SQOOP_USER_CLASSPATH=/custom/lib01.jar:/custom/lib02.jar
$ sqoop import ...

【讨论】：