如何使用Apache Nifi删除重复文件?

问题描述 投票:0回答:1

我有几个EC2服务器设置,在每个这些实例上都安装了相同的EFS。

还同时在两台计算机上分别设置了Apache Nifi。现在,当我尝试进行数据流复制以从EFS安装的文件夹复制文件时,两台服务器上都出现了重复的文件。

Apache Nifi中有某种方法可以用来处理重复项,因为它们都同时触发。 Cron不够有用,因为服务器有时会同时发生冲突。

apache-nifi
1个回答
0
投票

对于检测重复文件,您可以使用DetectDuplicate Processor。enter image description here

© www.soinside.com 2019 - 2024. All rights reserved.