将所有 API 结果提取到单个 CSV 文件 Azure 数据工厂

Question

我从 API 获得了 JSON 响应，并且在名为“数据”的部分中获得了一堆项目信息。在此部分中，您将找到“ReleasePackageId”、“名称”和“版本”等详细信息。此外，响应还包含一些分页内容，例如“TotalCount”、“PageIndex”和“PageSize”。

我想做的是使用 Azure 数据工厂从所有这些 API 数据中创建一个 CSV 文件。但事情是这样的：API 以块的形式提供数据，并且每次的项目总数可能不同（现在是 88）。因此，我需要处理这些块并将所有内容放入一个 CSV 中。

在 ADF 的世界中，我可以使用一些帮助以最智能的方式来浏览这些分块的 API 响应并获取数据。有什么建议吗？

Answer 1

有两种方法可以使用 ADF 将 API 结果提取到单个 CSV 文件中

1。如果您的 API 包含分页，那么您可以使用 Rest API 连接器 在 api 上分页并获取结果并将其存储在 CSV 文件中

• 首先使用 REST API 连接器创建链接服务，并使用分页设置您的 API
• 在源代码中根据您的要求设置分页。
• 将接收器设置为 CSV 文件并相应设置正确的映射。
• 输出

2。如果您想将复制活动中来自 Http Connector 的数据存储到单个 CSV 文件中。

• 首先在 for every use 复制活动下，将源添加为 HTTP 连接器以及 API，并将数据存储到 Json 文件中。

• 通过正确的映射，将其存储在 blob 存储中的 json 文件中。

• 采取另一个复制活动，将该 Json 文件合并到单个 CSV 文件以及正确的映射。

• 输出