如何使用Azure Data Factory将新的或更新的文件从Azure数据湖推送到File文件夹中？

Question

我能够使用复制工具将数据从Azure数据湖推送到本地文件文件夹，使用Azure数据工厂。

但我只是想推送更新或新的文件从Azure数据湖到文件文件夹（我的意思是只有三角洲拉）。

我试着用参数选项，但无法给出参数。你们谁能建议如何实现这一点。

Answer 1

但我只是想从Azure数据湖只推送更新或新的文件到文件夹（我的意思是只推送delta pull）。

根据你的描述，你想在ADLS源中实现增量加载.实际上，这是实现与LastModifiedDate属性的文件。

你可以在计划中执行管道，这样你就可以定期加载新的文件。更多细节，请参考以下链接。

1.https:/azure.microsoft.comen-usblogincrementally-copy-new-files-by-lastmodifieddate-with-azure-data-factory。

2.https:/docs.microsoft.comen-usazuredata-factorytutorial-incremental-copy-overview#loading-new-and-changed-files-only-using-lastmodifieddate。