Azure 数据工厂 - 忽略目标中的重复项?

问题描述 投票:0回答:1

我正在从 Sql 数据库检索数据并希望插入到 Azure 表存储中。

但是,我想确保我不会重复将数据插入表存储中。

如何使用 ADF 实现此目的?

对我来说,独特性将基于至少 2 列。比方说...

客户编号 订阅号

我从 Sql 的查询获取了我需要的数据,但想确保不会在表存储中插入重复数据。

我很感谢指导。

azure-data-factory azure-table-storage
1个回答
0
投票

为了避免源 sql 数据库中的重复数据,您可以在复制活动上使用查询,并通过查询仅利用 sql 中的行号和分区并删除重复记录来管理源的唯一性。

如果真正利用 ADF 进行管理,您可以使用数据流进行管理

© www.soinside.com 2019 - 2024. All rights reserved.