sqoop中的last-value（增量导入）

Question

sqoop import --connect \\
jdbc:mysql://localhost:3306/ydb --table yloc --username root -P --check-column rank --incremental append --last-value 

我们不知道上一个表的最后一个值。我该如何编写查询？

Answer 1

您可以尝试两种方法来解决这个问题。

1. 查询表并获取最后一列的最大值。
2. 在sqoop中创建一个作业并将该列设置为增量列并继续前进，您的作业将逐步运行

Answer 2

• 去你的pwd
• cd .sqoop
• 使用vi或您的fav编辑器打开文件metastore.db.script。
• 搜索incremental.last.value

应该是这样的

INSERT INTO SQOOP_SESSIONS VALUES('incimpjob','incremental.last.value','2018-09-11 19:20:52.0','SqoopOptions')

注意：我假设您已经创建了一个Sqoop作业。 'incimpjob'是我的sqoop作业的名称。