hive-drop-import-delims在Sqoop中使用HCatalog时不删除换行符

Question

当与Oracle运行Apache Sqoop时，即使在命令中使用--hive-drop-import-delims选项后，与HCatalog导入一起使用的Sqoop也无法从列数据中删除新行（\ n）。

Sqoop查询：

    sqoop import --connect jdbc:oracle:thin:@ORA_IP:ORA_PORT:ORA_SID \
--username user123 --password passwd123 -table SCHEMA.TBL_2 \ 
--hcatalog-table tbl2 --hcatalog-database testdb --num-mappers 1 \ 
--split-by SOME_ID --columns col1,col2,col3,col4 --hive-drop-import-delims \
--outdir /tmp/temp_table_loc --class-name "SqoopWithHCAT" \
--null-string ""

Oracle Column col4中的数据如下:(数据具有控制字符，例如^ M）

<li>Details:^M
    <ul>^M
        <li>

Control字符会导致此问题吗？

我错过了什么吗？针对此问题是否有解决方法或解决方案？

Answer 1

使用--map-column-java选项显式声明列的类型为String。然后--hive-drop-import-delims按预期工作（从数据中删除\n）。

改变了Sqoop命令：

sqoop import --connect jdbc:oracle:thin:@ORA_IP:ORA_PORT:ORA_SID \
--username user123 --password passwd123 -table SCHEMA.TBL_2 \ 
--hcatalog-table tbl2 --hcatalog-database testdb --num-mappers 1 \ 
--split-by SOME_ID --columns col1,col2,col3,col4 --hive-drop-import-delims \
--outdir /tmp/temp_table_loc --class-name "SqoopWithHCAT" \
--null-string "" --map-column-java col4=String

Answer 2

sqoop import \
--connect jdbc:oracle:thin:@ORA_IP:ORA_PORT:ORA_SID \
--username 123 \
--password 123 \
--table SCHEMA.TBL_2 \
--hcatalog-table tbl2 --hcatalog-database testdb --num-mappers 1 \
--split-by SOME_ID --columns col1,col2,col3,col4 \
--hive-delims-replacement "anything" \
--outdir /tmp/temp_table_loc --class-name "SqoopWithHCAT" \
--null-string ""

你可以尝试这个--hive-delims-replacement“任何”这将用你提供的字符串替换所有\ n，\ t和\ 01字符（在这种情况下用字符串“any”替换）。

Answer 3

来自官方网站：https://sqoop.apache.org/docs/1.4.2/SqoopUserGuide.html

如果数据库的行包含字符串字段，其中存在Hive的默认行分隔符（\ n和\ r \ n字符）或列分隔符（\ 01个字符），则Hive将无法使用Sqoop导入的数据。您可以使用--hive-drop-import-delims选项在导入时删除这些字符以提供与Hive兼容的文本数据。或者，您可以使用--hive-delims-replacement选项在导入时使用用户定义的字符串替换这些字符，以提供与Hive兼容的文本数据。只有在使用Hive的默认分隔符时才应使用这些选项，如果指定了不同的分隔符，则不应使用这些选项。