移动大型并经常使用组合密钥更新MySQL表到HDFS

Question

我有MySQL库存表，它没有自动增量ID，但有复合键和最后修改日期（YYYY-mm-DD HH：MM：SS），并且会非常频繁地更新。它有近1000年记录的最近3年数据。

我想通过使用Sqoop或其他方式将此数据移动到HDFS。请提出一些建议。

Answer 1

根据--lastmodified检查下面的sqoop代码（我在类似的任务中使用）：我想在这里假设你可能有一个类似日期的列与--check-column参数一起使用。

sqoop import \
--connect jdbc:mysql://<server>:3306/db \
--username=your_username \
-P \
--table=your_table \
--append \
--incremental lastmodified \
--check-column creation_date \
--last-value "YYYY-mm-DD HH:MM:SS.x" \
--split-by some_numeric_id_column \
--target-dir /user/dir \
--num-mappers <MAPPER#>