使用 HTTP 从 Azure 数据工厂下载文件并将其存储在文件存储上

Question

我是 Azure 数据工厂的新手，我已经按照在线教程学习了如何将数据从 api 下载到 ADF 并存储 zip 文件。但是，当我运行管道时，我收到这些错误

ErrorCode=HttpRequestFailedWithClientError,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Http request failed with client error, status code 400 BadRequest, please check your activity settings. If you configured a baseUrl that includes path, please make sure it ends with '/'.
Request URL: xxxxxxxxxxxxxxxxxxxAPI.,Source=Microsoft.DataTransfer.ClientLibrary,''Type=System.Net.WebException,Message=The remote server returned an error: (400) Bad Request.,Source=System,'

我尝试在邮递员上运行 api 基本 url，它运行正常。

Answer 1

如果 API 在 Postman 中正常工作，但在 ADF 中无法正常工作，则问题可能与 ADF 中的网络配置或身份验证设置有关。解决方案是使用自托管集成运行时从 ADF 访问 API。这将允许您在有权访问 API 并可以正确进行身份验证的计算机上运行管道。

以下是使用自托管集成运行时从 ADF 访问 API 的高级步骤：

1. 在有权访问 API 并可以正确进行身份验证的计算机上安装自托管集成运行时。
2. 在 ADF 中创建指向 API 端点的 HTTP 链接服务。
3. 将链接服务配置为使用自托管集成运行时而不是自动解析集成运行时。
4. 使用管道中的链接服务访问 API 并在 API 和基于云的服务之间传输数据。

通过使用自托管集成运行时，您可以确保管道运行在具有访问 API 所需的网络配置和身份验证设置的计算机上。这应该有助于解决与网络连接或身份验证相关的任何可能导致管道失败的问题。

参考：https://learn.microsoft.com/en-us/azure/data-factory/create-self-hosted-integration-runtime?tabs=data-factory