通过 Azure 数据工厂将 SQL 本地数据增量加载到 Azure Blob 存储

Question

我想使用 Azure 数据工厂将数据从本地 SQL 表增量加载到 Azure Blob 存储，为每个表创建带有数据名称的文件夹。我找不到任何相关文档来执行此操作。如果有办法使用 Azure 数据工厂实现此目的，我将不胜感激。 有人可以帮助我吗？

提前致谢

使用 Azure 数据工厂将数据从本地 SQL 表增量加载到 Azure Blob 存储，为每个表创建包含数据名称的文件夹。

Answer 1

您可以使用数据工厂中的复制活动来执行此操作。

由于要加载多个表，因此需要构建for循环。您需要循环的每个表都是此 for 循环中的一次迭代：

在复制活动中，还有一个挑战需要处理。您无法在每次迭代时加载完整的表格内容。 要仅加载之前未加载的最新数据，您需要实现一些增量加载机制。 这些增量加载机制称为 CDC（更改数据捕获），其作用类似于水印。对于 CDC，有不同的变体可用，我建议您针对此用例使用

query-based-cdc

。更多信息请参见：https://www.qlik.com/us/change-data-capture/cdc-change-data-capture

数据工厂中基于查询的 CDC 数据消耗可能如下所示：

SELECT * from dbo.table1 WHERE TIMESTAMP > GETDATE() -1