我需要创建一个包来将大量数据从数据库表迁移到不同的数据库表。源表将持续在4,5天内获得新数据，因此我将一次又一次地运行我的包。
我需要将此表中的所有数据迁移到另一个表，但我不想迁移已迁移的那些数据。我需要使用什么样的转换或者我需要编写哪些SQL命令才能执行此操作？
通常的方法是在源表上设置“audit”时间戳，并仅迁移在上次迁移后更新或插入的记录。
例如：
Table Sales
sale_id
sale_date
sale_amount
...............
dw_create_date
dw_update_date
你的源提取可能是......
select sales.sale_id,
sales.sale_date,
....
from sales
where dw_updated_date > {last_migration_date}
last_migration_date通常从配置文件或表中读取。
您可以使用其他一些方法，但随着数据大小的增加，所有这些方法都会出现更大的性能问题。
1）执行（目标 - 源）数据，以获取源中已更改的行。
select *
from source
minus
select * from target
您可以使用源和目标之间的连接执行相同的操作。
select source。* from src left join tgt on（src.id = tgt.id）where（src.column1 <> tgt.column1或src.column2 <> tgt.column2 ............ ）
请注意，这些方法中的任何一种都不会处理源中的删除。如果您希望表同步，那么唯一的方法是执行（source-target）获取插入/更新更改和（target-source）获取已删除的行并在目标中执行相同操作。
2.插入并忽略主要约束错误：
如果数据可以在源中更改并且您希望更新传播到目标，则会出现严重问题。您每次都要查询整个源代码。通常，最好使用Merge / Upsert和过滤后的源数据。
我会假设两个表都有一些唯一的标识符，不是吗？
表A具有：1 2 3 4
您正在将其移至表B，但同时保留表A中的数据，是吗？
所以你已经完成了一次工作。现在表B有：1 2 3 4
表A得到更新。它现在有：1 2 3 4 5 6 7
你再次运行你的工作，但你只想发送超过5,6,7。
SELECT *
FROM TableA
LEFT OUTER JOIN TableB ON TableA.ID = TableB.ID
WHERE TableB.ID = NULL.
如果你有一些样本数据，它会有所帮助。这会给你一个好主意吗？