Azure数据工厂限制

Question

我创建了一个简单的管道，其运行方式如下：

1. 通过Azure函数生成访问令牌。没问题。

2. 使用Lookup活动创建一个表以遍历行（4列乘0.5M行）。没问题。

3. 对于每个活动（顺序关闭，批量大小= 10）：
4. （（每个内）：设置一些变量以检查重要值。
5. （在For Each中）：通过网络活动传递值以返回json。
6. （在For Each中）：将json的Data活动映射部分复制到接收器数据集（postgres）。

问题：大约1000次输入/插入后，管道的爬网速度变慢了。

我正在查看有关ADF限制的documentation。

• 每个项目：100,000
• 每个并行度：20

除非我误解，否则我希望这会落在这些限制之内。我还克隆了管道，并通过将查询偏移为一来尝试了它，并在2018年的条目中排名最高。

具有更多经验的人都可以给我一些有关这里发生的情况的想法吗？

Answer 1

作为建议，每当我不得不在foreach中弄弄变量时，我都会为foreach进程创建新的管道，并从foreach中调用它。这样，我确保变量在foreach的每次迭代中都具有自己的上下文。

您是否已经检查瓶颈不在源头或目的地？如果数据库或Web服务承受某些压力，那么在您的方案允许的情况下，按顺序进行可能会有所帮助。

希望这有所帮助！