如何使用sqoop作业自动化sqoop增量导入?

问题描述 投票:2回答:3

如何使用sqoop作业自动化sqoop增量导入?

据我所知,squip工作会记住最后一个值。如果我们创建像[]

sqoop作业--create myjob-import --connect等等等等。

sqoop exec myjob

并使作业自动化,它将在每次执行时创建作业。因此,我们将获得作业已存在的错误。

因此,是否可以使用sqoop作业自动执行sqoop增量导入?

[请让我知道您对此的知识。提前致谢。

如何使用sqoop作业自动化sqoop增量导入?据我所知,sqoop工作会记住最后一个值。如果我们创建像sqoop job这样的sqoop job --create myjob-import --connect blah blah ........>

hadoop sqoop
3个回答
1
投票

为了重述可能,最好完全控制书签。这就是为什么自定义机制比sqoop工作更好的原因。

工作流程模板为:


0
投票

您可以使用选项文件简单地创建一个sqoop作业,您的作业将被保存。下次,当您运行作业时,它将自动获取增量数据。


0
投票

您可以创建一个shell脚本来触发sqoop进程,我们可以使用sqoop list --job name添加一个条件来检查sqoop作业是否已经存在,如果退出可以触发已保存的作业,如果不存在,则创建并触发sqoop job ..用于计划的您可以创建cron计划,oozie或使用uc4,airflow,autosys等计划程序...

© www.soinside.com 2019 - 2024. All rights reserved.