ADF Web Activity 可以用于进行 Rest API 调用并带来大尺寸数据

Question

大家好，我是 ADF Activity 的新手，如果我通过使用 Web Activity 将大量数据引入我的数据目标来正确设计，我需要您的意见和帮助。我尝试在 ADF Pipeline 中使用 Web Activity 进行 REST API 调用，并将数据从远程 Web 源系统引入目标 Snowflake Datawarehouse。 远程源的数据以 GB 为单位，当我第一次执行此 Web 活动时，我能够通过使用 Web URL 中的 top 参数获取前 10 行的数据，但是当我将管道切换到其他环境时，我开始收到错误消息为“执行输出的长度超出限制（当前约为 4MB）”。 不确定我是否使用正确的 ADF 活动从远程系统获取数据，或者 ADF 中是否有可用的替代活动来进行 REST API 调用并将大量数据引入我的目标系统。

在此感谢您的帮助。

Answer 1

Web活动，只能带来4MB的数据。所以在这种情况下它不是正确的选择。

考虑使用

copy activity

并在

source

选项卡下，使用

REST

类型 数据集。这可以帮助您将数据从 REST API 加载到目标。