如何在fabric中创建增量管道

Question

我想创建一个管道以避免不断加载仓库中已有的数据。 我首先创建了脚本来清除维度和事实表 (fact_Transactions)。 然后，我插入数据流来加载维度和事实表，然后尝试添加脚本来删除旧数据。然而，我的脚本总是失败。

这是同事告诉我尝试的脚本：

DELETE
FROM fact_Transactions
Where fk_date IN
(
SELECT
CAST(LEFT(fact_Transactions.fk.date,4) + '-'
    RIGHT(LEFT(fact_Transactions.fk.date,6),2) + '-'
    RIGHT(fact_Transactions.fk.date,2 ) AS DATE) as 
          dw_proper_date
FROM fact_Transactions
);

但是我不太理解，也没有运行成功。

Answer 1

现在可以支持结构管道中的 VNet 网关，从而简化从本地源传输数据的过程并促进增量加载，例如更改数据捕获 (CDC)。

您可以采用两种方法：使用 Dataflows Gen 2 或复制活动管道。 Dataflows Gen 2 通常适用于较小的数据集（低于 1 TB）。但是，对于增量加载，即使数据集较小，复制活动管道也是一个可行的选择。

欲了解更多见解和实施指南，请参阅以下资源：

• 使用数据流 Gen 2 进行增量刷新教程
• 增量复制数据仓库到Lakehouse教程