Azure ADF如何确保所复制的相同文件也被删除?

问题描述 投票:0回答:1

使用Azure ADF,当前我的设置如下:

基于事件的事件是在文件上传时在输入BLOB上触发的。文件上载触发复制活动以输出BLOB,此操作之后是对输入BLOB的删除操作。输入的BLOB一次可以获取1个或多个文件(不确定文件扫描的频率/事件触发管道的速度)。阅读有关删除功能文档的内容:

Make sure you are not deleting files that are being written at the same time.

我当前的设置是否会删除正在写入的文件?

基于事件的文件上传触发事件>>从输入Blob写入到输出Blob >>删除输入Blob

我提供了一个替代解决方案,它基于管道开始处的事件获取元数据活动,然后进行for循环,最后删除文件,但是不确定是否必要。如果我每隔15秒左右接收一次文件,我的原始解决方案就足够了吗?

同样,在获取元数据活动中,如何获得文件的实际路径,而不仅仅是文件名?

谢谢您的帮助。

azure azure-data-factory azure-data-lake
1个回答
0
投票

Delete Active说:

  • 请确保您不删除正在同时。

您的设置是:

  • 基于事件的文件上传触发事件>>从输入Blob写入输出Blob >>删除输入Blob

仅在活动的Write from input Blob to Output Blob完成后(未写入删除文件),然后Delete input Blob才能工作。

您的问题:我当前的设置会删除正在写入的文件吗?

您是否测试了这些步骤?您必须自己进行测试,您才能得到答案。

请注意:

删除活动不支持删除通配符描述的文件夹列表。

任何其他建议:

Write from input Blob to Output Blob完成后,您不需要使用删除活动来删除输入的Blob。

您可以从Data flow中学习,它的源设置支持在复制活动完成后删除源文件(输入blob)。enter image description here

希望这会有所帮助。

© www.soinside.com 2019 - 2024. All rights reserved.