本地 FTP 服务器文件夹迁移到 Azure datalake

Question

我正在尝试将位于 FTP 服务器上的本地压缩文件夹迁移到 Azure datalake V2。这些文件夹每天都会在 FTP 服务器中创建。要求是将这些文件夹逐步迁移到 Azure 上，并在迁移时解压缩这些文件夹（包含来自大型[大约是网球场的 4 倍]医疗设备的不同子系统的日志）。我使用数据工厂创建了一个管道和一个触发器，以在一天的固定时间运行该管道，并在迁移后删除 FTP 上的文件夹。但是，我了解到 FTP 上的文件夹无法删除，因为数据工厂不支持此功能，因为源 FTP 中存在 zip 文件。我需要在迁移后删除 FTP 上的文件夹，因为触发器将使管道甚至能够迁移已经迁移的历史文件夹，这可能需要很长时间才能迁移这些大文件。

Answer 1

1, 首先，您需要了解解压文件并将其移动到Azure datalake，移动常见文件应该在两个活动中。不可能在单个活动中处理压缩文件和未压缩文件。

移动压缩文件的设置：

2、 Azure Datafactory 没有内置函数来处理来自 ftp 服务器的文件时间。因此，需要通过文件名来体现文件的创建时间，然后在文件移动之前根据文件名进行过滤。