如何使用sqoop作业自动化sqoop增量导入?
据我所知,squip工作会记住最后一个值。如果我们创建像[]
sqoop作业--create myjob-import --connect等等等等。
sqoop exec myjob
并使作业自动化,它将在每次执行时创建作业。因此,我们将获得作业已存在的错误。
因此,是否可以使用sqoop作业自动执行sqoop增量导入?
[请让我知道您对此的知识。提前致谢。
如何使用sqoop作业自动化sqoop增量导入?据我所知,sqoop工作会记住最后一个值。如果我们创建像sqoop job这样的sqoop job --create myjob-import --connect blah blah ........>
为了重述可能,最好完全控制书签。这就是为什么自定义机制比sqoop工作更好的原因。
工作流程模板为:
您可以使用选项文件简单地创建一个sqoop作业,您的作业将被保存。下次,当您运行作业时,它将自动获取增量数据。
您可以创建一个shell脚本来触发sqoop进程,我们可以使用sqoop list --job name添加一个条件来检查sqoop作业是否已经存在,如果退出可以触发已保存的作业,如果不存在,则创建并触发sqoop job ..用于计划的您可以创建cron计划,oozie或使用uc4,airflow,autosys等计划程序...