使用Azure Data Factory删除远程文件

问题描述 投票:2回答:2

如何删除源文件夹(位于本地文件系统中)中的所有文件。我需要帮助.NET自定义活动或Azure数据工厂中的任何开箱即用的解决方案。 PS:我确实找到了删除自定义活动,但它更倾向于Blob存储。 请帮忙。

azure delete-file azure-data-factory custom-activity
2个回答
1
投票

目前,不支持Data Management Gateway上的自定义活动。 Data Management Gateway仅支持截至今天(2017年2月22日)的复制活动和存储过程活动。

解决方法:因为我没有内部部署文件的删除工具,所以我计划在yyyy-mm-dd的文件夹结构中安装源文件。因此,每个日期文件夹(例如:2017-02-22文件夹)都将包含所有相关文件。我现在将配置我的Azure数据工厂作业以根据日期提取数据。 示例:2月22日的ADF作业将搜索2017-02-22文件夹。在下一次运行中,我的ADF作业将搜索2017-02-23文件夹。这样我就不需要删除已处理的文件了。


0
投票

实际上,有一种正常的方法可以做到这一点。您将必须创建Azure功能应用程序,该应用程序将接受带有您的FTP / SFTP设置(如果您使用一个)和要删除的文件名的POST。因此,您将请求内容解析为JSON,提取设置并使用SSH.NET库删除所需的文件。如果你只有一个文件共享,你甚至不需要打扰SSH。稍后在Data Factory中,您将在Body部分中添加一个带有动态内容的Web Activity,以我上面提到的形式构建JSON请求。对于URL,您指定已发布的Azure功能Url + ?code=<your function key>我们实际上最终创建了一大堆Azure功能,这些功能充当我们DF管道的自定义活动。

© www.soinside.com 2019 - 2024. All rights reserved.