持续时间之间的天蓝色数据工厂差异

Question

我是Azure Data Factory的新手。以前，我一直在与SSIS和Pentaho合作。最近，我开始使用此工具来创建一些ETL，并且我注意到该过程结束时提供的时间值之间存在一些差异。因此，我想知道它们是什么意思（持续时间-处理时间-时间），尤其是为什么持续时间与处理时间之间的巨大差异，这种差异是该工具的标准准备时间或诸如此类吗？

问候

Answer 1

当您从屏幕快照的顶部读取“持续时间”时，它是管道活动的端到端。这考虑了所有因素，例如将数据流脚本从ADF整理到Spark群集，群集获取时间，作业执行和I / O写入时间。

屏幕快照的底部是Spark在转换逻辑这一阶段所花费的时间，这是所有内存中的数据帧。

[写入时间显示在Sink转换的数据流执行计划中，而群集获取时间显示在顶部。