使用 Azure 数据工厂将 ServiceNow 数据导出到 SQL 数据库

问题描述 投票:0回答:1

我目前使用本机 ServiceNow 连接器作为源数据集设置了一个管道。我正在使用一个简单的查询从 sc_req_item 表中提取记录。我将 Azure SQL 数据库设置为我的接收器数据集。当我执行管道时,它可以正常工作并将超过 107k 条记录复制到我的 Azure 数据库中,但运行时间需要超过 10 个小时。有什么办法可以提高这个性能吗?我认为不应该花这么长时间来运行。有没有人以另一种方式实现了这样的事情?

我使用本机 ServiceNow 连接器作为源数据集创建了管道,并通过简单的 SQL 查询从 sc_req_item 表中提取记录。我创建了一个 Azure SQL 数据库并将其设置为我的接收器数据集。该管道正在运行,但需要 10 多个小时才能完成。我预计对于 100k 记录甚至更多来说,这个时间会短得多。

azure-sql-database azure-data-factory servicenow
1个回答
0
投票

欢迎来到 Stack Overflow。

根据 ADF 的规模,这可能是由于 ADF 上的计算不足、接收器端的计算不足或源端的计算不足。这也可能是由于组件之间的网络相关延迟造成的,这种情况在基于本地而不是云的源或接收器中更为常见。根据我的经验,如果 ADF 上的 DIU(假设您使用的是 Azure Integration Runtime)似乎适合要复制的数据大小,则很可能您的 ServiceNow 平台的扩展程度不足以处理复制过程。

请遵循复印性能指南(如果您不知道):

https://learn.microsoft.com/en-us/azure/data-factory/copy-activity-performance

如果您可以在 ADF 上指出您的 DIU,以及以 MB 为单位的数据大小,我可以尝试告诉您是否足够。

© www.soinside.com 2019 - 2024. All rights reserved.