如何使用Sqoop libjars选项？

Question

我正在使用sqoop导入工具将数据导入HBASE表。我已经创建了一个自定义的PutTransformer类，我已经提供了jar和属性来使用自定义变换器，但它没有考虑自定义变换器类。

谁可以帮我这个事。

Sqoop命令：

sqoop import -libjars /home/ghk/hbase/poc/customsqoop.jar -D sqoop.hbase.insert.put.transformer.class = com.sqoop.transformer.CustomPutTransformer --connect'jdbc：oracle：thin：@ // XX.XY.XA.XZ：1521 / a701' - 表XYZ.TEMP_HBASE_TYPE2 - 列'TID，HBASE_TYPE，DESCRIPTION，IS_DELETED，CREATED'-hbase-create-table --hbase-table'TEMP_HBASE_TYPE2' - 列-family CLMN --hbase-row-key'TID'--fetch-size'10000' - class-name'HBaseType'--split-by'TID' - username xxx - password xxxyy --compress - compression-codec org.apache.hadoop.io.compress.SnappyCodec --num-mappers 3 --outdir / home / ghk / hbase / poc / SqoopClasses

此致，GHK。

Answer 1

使用/etc/sqoop/conf/sqoop-env.sh中定义的环境变量“SQOOP_USER_CLASSPATH”，不要使用libjars参数。

$ grep USER /etc/sqoop/conf/sqoop-env.sh 
export SQOOP_USER_CLASSPATH="`ls ${HIVE_HOME}/lib/libthrift-*.jar 2> /dev/null`:${SQOOP_USER_CLASSPATH}"
$ export SQOOP_USER_CLASSPATH=/custom/lib01.jar:/custom/lib02.jar
$ sqoop import ...