增加Azure数据工厂中的并发性

问题描述 投票:0回答:1

我们有一个父管道,该管道获取表列表并将其馈入ForEach。然后在ForEach内,我们调用另一个传递某些配置的管道,该子管道移动作为配置传递的表的数据。

当我们大规模运行此命令时,我经常会在监视器中看到20个左右的子管道实例。除4外,所有其他都将“排队”,其他4个都将作为“进行中”执行。我似乎找不到这个限制4的任何设置。我们有数百个管道要执行,我真的可以一次处理4个以上。在整个管道和任务中,我将并发设置为20,因此启动了20个实例。但是我无法弄清楚需要花多少时间才能同时执行4个以上的代码。

ForEach看起来像这样

activities in ForEach loop look like this

非常感谢

azure-data-factory azure-data-factory-2
1个回答
0
投票

似乎最多可以同时并行执行20个循环迭代。但是文档尚不清楚。

控制该值的BatchCount设置的最大值为50,默认值为20。但是在isSequential的文档中,它声明最大值为20。

根据限制和解决方法,文档指出:“ ForEach活动的用于并行处理的最大batchCount为50,最大为100,000个项目。”

https://docs.microsoft.com/en-us/azure/data-factory/control-flow-for-each-activity

© www.soinside.com 2019 - 2024. All rights reserved.