ADF 管道复制了所有内容，但卡在了最后

Question

我运行了 50 次，有 5 次所有数据都加载到目标表中，但运行从未结束（超时结束）。其他 45 次运行均正常。

它在自托管 IR 上运行。

来源：存储帐户中的 CSV

目标：Databricks SQL 仓库

知道为什么最后会卡住吗？

活动输出：

{
"dataRead": 6863181402,
"dataWritten": 12575809624,
"filesRead": 1,
"sourcePeakConnections": 10,
"sinkPeakConnections": 11,
"rowsRead": 4162299,
"rowsCopied": 4162299,
"copyDuration": 7091,
"throughput": 968.829,
"errors": [],
"effectiveIntegrationRuntime": "IRName",
"usedParallelCopies": 10,
"executionDetails": [
    {
        "source": {
            "type": "AzureBlobFS",
            "region": "West Europe"
        },
        "sink": {
            "type": "Odbc"
        },
        "status": "Canceled",
        "start": "4/20/2024, 10:05:54 AM",
        "duration": 7091,
        "usedParallelCopies": 10,
        "profile": {
            "queue": {
                "status": "Completed",
                "duration": 3
            },
            "preCopyScript": {
                "status": "Completed",
                "duration": 4
            },
            "transfer": {
                "status": "InProgress",
                "duration": 7083,
                "details": {
                    "listingSource": {
                        "type": "AzureBlobFS",
                        "workingDuration": 0
                    },
                    "readingFromSource": {
                        "type": "AzureBlobFS",
                        "workingDuration": 493
                    },
                    "writingToSink": {
                        "type": "Odbc"
                    }
                }
            }
        },
        "detailedDurations": {
            "queuingDuration": 3,
            "preCopyScriptDuration": 4,
            "transferDuration": 7084
        }
    }
],
"dataConsistencyVerification": {
    "VerificationResult": "NotVerified"
},
"durationInQueue": {
    "integrationRuntimeQueue": 3
}}

Answer 1

根据提供的活动输出，潜在原因可能包括：

• 超时问题：操作可能花费的时间比预期更长，导致超时并随后取消。

• 资源限制：自托管集成运行时 (IR) 或目标 Databricks SQL 仓库可能存在资源限制，例如内存、CPU 或网络带宽有限，从而导致操作取消。

• 网络连接：自托管 IR 和 Databricks SQL 仓库之间的网络连接问题可能导致传输中断。

• 数据量：正在传输的数据量（数据读取和数据写入）很大（数十亿字节），这可能会导致超时或资源限制。

要对自托管 IR 上的复制活动性能进行故障排除，您可以参阅 Azure 文档。