Azure 数据工厂管道是否可以动态设置数据流源和目标数据库

问题描述 投票:0回答:1

我有 3 个 Azure SQL 数据库,我想在它们之间同步数据。这 3 个数据库都具有相同的结构,它们是为 3 个环境设置的。 (开发、质量检查、产品)。

我想要一个接受 3 个参数的管道,源数据库、目标数据库、ClientId 来过滤数据。然后,管道将触发一个数据流,该数据流将按客户端 ID 过滤数据,然后将数据推送到目标数据库中执行更新插入。

我可以使用预定义的数据集和数据源,但我想知道是否可以使用动态数据源和数据集。我试图避免为数据迁移示例的每个实例创建管道,(Dev -> QA)、(QA -> Prod)、(Dev <- QA), (QA <- Prod).

我目前已经设置了一个接受 clientId 作为参数的管道。管道触发一个数据流,该数据流对 dev 中的客户端表进行过滤。然后,返回的结果被传递到执行更新插入条件的更改行。数据最终被推送到QA环境,并在新环境中更新或插入数据。如前所述,这是有效的,但我已经预定义了每个数据源,并且我想动态地执行此操作。 dataflow image

azure-data-factory etl
1个回答
0
投票

您可以使用服务器名称和数据库名称参数定义链接服务:

然后创建连接到该链接服务的数据集,并再次使用服务器名称和数据库名称参数:

在数据流中使用此数据集:

然后当你在管道中使用数据流时,它会请求服务器和数据库的参数:

© www.soinside.com 2019 - 2024. All rights reserved.