如何使用 Azure 数据工厂获取 Sharepoint 数据并加载到 Azure Blob 存储中？

Question

我想使用 Azure 数据工厂将数据从 Sharepoint 加载到 Azure Blob 存储。 虽然我对 OData 一无所知，但似乎可以使用 Odata，如以下教程将数据从 OData 源复制到 Azure Blob

我已经按照教程设置了所有内容，但它不起作用。

如果我遗漏了什么，请帮助/建议。

下面是我在 Azure 数据工厂中用于 OData 链接服务的配置。

{
    "name": "LS_OData",
    "properties": {
        "hubName": "adf_hub",
        "type": "OData",
        "typeProperties": {
            "url": "http://flic.xyzc.com/Sites/WYST/Lists/RAZXE/AllItems.aspx)",
            "authenticationType": "Basic",
            "username": "usrname",
            "password": "**********",
            "gatewayName": "myGateway"
        }
    }
}

注意 - 我可以使用 SharePoint REST API 使用相同的 URL/凭据获取数据。 此外，我还安装了数据管理网关，并且对于 OnPremise SQL 和 Oracle 数据库运行良好。

Answer 1

除了 OData，您还可以直接使用 SharePoint REST API。

获取 SharePoint 数据的 REST API 端点。一般来说，它看起来像：

https://<your-domain>.sharepoint.com/sites/<site-name>/_api/web/lists/getbytitle('<List Name>')/items

。

在 Azure 数据工厂中创建链接服务。使用基本 URL（SharePoint REST 端点）的 HTTP 链接服务。使用“基本”或其他合适的身份验证方法。

创建新数据集，对于 SharePoint，选择

HTTP

数据集类型。将其配置为使用您创建的

HTTP Linked Service

。如果需要，请指定相对 URL，以及其他配置。

现在您可以使用复制数据管道。对于源，选择 SharePoint 数据集。对于目标，选择 Azure Blob 存储数据集并根据需要映射字段。

SharePoint REST API 对一次请求中返回的项目数量有限制，因此如果您正在处理大型列表，则可能必须处理分页。