Sqoop增量导入新记录

Question

我有一个包含1到10的emp_id的表，其中emp_Id = 6不存在，我通过创建Sqoop作业在追加模式上做了增量Sqoop。 在此之后，接下来我想添加两个新的emp_id，即emp_id=6和emp_id = 12。 现在我的问题是增量sqoop导入emp_id =6还是只导入emp_id = 12？

Answer 1

如果你用--check-column emp_id定义了--incremental append（并且你写了emp_id = 6而其他值为null），你的作业将只写入emp_id = 12记录。但是如果--check-column参数在现有记录中找不到值6，则作业还将写入emp_id = 6记录。

如果要添加新记录和/或修改现有记录，请考虑--last-value参数。 See this。注意创建作业时，最后一个值已保存在/ tmp sqoop目录中。在这种情况下，我建议你简单地使用sqoop import，我确认它更好用。