我使用Sqoop成功地从oracle表导入Hive表。现在我想创建并保存一个Sqoop作业,其中包含我用于临时导入的确切参数。
但如果我说:
sqoop job --create myjob --import \
--connect jdbc:mysql://host.port/foo \
--username myUserName \
--password-file file:///myfile.pwd \
--table mytable \
--create-hive-table \
--hive-import \
--hive-database my_hive_db \
--hive-table my_hive_table \
--fields-terminated-by '|' \
--hive-drop-import-delims \
--m 1
我得到一个错误:
19/03/05 14:56:41 ERROR tool.BaseSqoopTool: Error parsing arguments for job:
19/03/05 14:56:41 ERROR tool.BaseSqoopTool: Unrecognized argument: --import
19/03/05 14:56:41 ERROR tool.BaseSqoopTool: Unrecognized argument: --connect
19/03/05 14:56:41 ERROR tool.BaseSqoopTool: Unrecognized argument: jdbc:mysql:@host:port/foo
如果我删除所有\它仍然无法正常工作。
如何使用Hive导入的所有必要参数定义Sqoop作业?
似乎是一个bash逃避问题。在行尾的后缀“\”字符后面应该没有空格。您可以看到额外的空格:
cat -A sqoop_script.sh
不确定你提供的示例是否错误,但我总是使用稍微不同的语法,其中import不是作业中的标志。
从documentation来看,这两种语法对我来说似乎很熟悉:
sqoop import (generic-args) (import-args)
sqoop-import (generic-args) (import-args)
你错过了space
和--
之间的import
。
尝试使用以下语法:
sqoop job --create myjob -- import \
--connect jdbc:mysql://host.port/foo \
--username myUserName \
--password-file file:///myfile.pwd \
--table mytable \
--create-hive-table \
--hive-import \
--hive-database my_hive_db \
--hive-table my_hive_table \
--fields-terminated-by '|' \
--hive-drop-import-delims \
--m 1