Azure Data Factory:数据生命周期管理和清理陈旧数据

问题描述 投票:0回答:1

我正在努力降低数据存储成本。它包括以下任务:

  1. 能够根据文件的最后修改日期从文件共享中删除文件和从Blob存储中删除Blob。
  2. 能够根据单个Blob的最后修改日期来更改其层次。

Azure数据工厂是否具有内置活动来完成这些任务?自动执行清理过程的最佳方法是什么?

azure-data-factory data-cleaning azure-data-factory-2 azure-blob-storage
1个回答
0
投票

1。能够根据文件的最后修改日期从文件共享中删除文件和从Blob存储中删除Blob。

此要求可以通过ADF内置方法Delete Activity来实现。

请创建一个Blob存储数据集,并仅参考此示例并配置上次修改日期的范围:https://docs.microsoft.com/en-us/azure/data-factory/delete-activity#clean-up-the-expired-files-that-were-last-modified-before-201811

由于某些原因,请考虑采取一些备份策略,因为:enter image description here

2。能够根据其最后修改日期更改各个Blob的层。

没有内置功能可以在ADF中完成此操作。但是,尽管我注意到您的个人资料显示您是.net制作者,所以请遵循这种情况:Azure Java SDK - set block blob to cool storage tier on upload,以便您可以知道可以在sdk代码中更改层。创建Azure Function来完成这样的简单任务很容易。此外,ADF支持Azure Function Activity

© www.soinside.com 2019 - 2024. All rights reserved.