创建Sqoop Hive导入作业

问题描述 投票:0回答:3

我使用Sqoop成功地从oracle表导入Hive表。现在我想创建并保存一个Sqoop作业,其中包含我用于临时导入的确切参数。

但如果我说:

sqoop job --create myjob --import \ --connect jdbc:mysql://host.port/foo \ --username myUserName \ --password-file file:///myfile.pwd \ --table mytable \ --create-hive-table \ --hive-import \ --hive-database my_hive_db \ --hive-table my_hive_table \ --fields-terminated-by '|' \ --hive-drop-import-delims \ --m 1

我得到一个错误:

19/03/05 14:56:41 ERROR tool.BaseSqoopTool: Error parsing arguments for job: 19/03/05 14:56:41 ERROR tool.BaseSqoopTool: Unrecognized argument: --import 19/03/05 14:56:41 ERROR tool.BaseSqoopTool: Unrecognized argument: --connect 19/03/05 14:56:41 ERROR tool.BaseSqoopTool: Unrecognized argument: jdbc:mysql:@host:port/foo 如果我删除所有\它仍然无法正常工作。

如何使用Hive导入的所有必要参数定义Sqoop作业?

hadoop import hive sqoop hive-table
3个回答
0
投票

似乎是一个bash逃避问题。在行尾的后缀“\”字符后面应该没有空格。您可以看到额外的空格:

cat -A sqoop_script.sh 

0
投票

不确定你提供的示例是否错误,但我总是使用稍微不同的语法,其中import不是作业中的标志。

documentation来看,这两种语法对我来说似乎很熟悉:

sqoop import (generic-args) (import-args)
sqoop-import (generic-args) (import-args)

0
投票

你错过了space--之间的import

尝试使用以下语法:

sqoop job --create myjob  -- import \
--connect jdbc:mysql://host.port/foo \
--username myUserName \
--password-file file:///myfile.pwd \
--table mytable \
--create-hive-table \
--hive-import \
--hive-database my_hive_db \
--hive-table my_hive_table \
--fields-terminated-by '|' \
--hive-drop-import-delims \
--m 1 
© www.soinside.com 2019 - 2024. All rights reserved.