来自NiFi的Storm HDFS锁定文件

Question

我正在尝试使用风暴HDFS喷口，我有Apache Nifi将文件移动到暴风雨正在侦听的HDFS目录，但是一旦apache nifi开始移动文件，风暴就会感觉到并开始处理并注意到该文件尚未完全移动。

我试图使用风暴方面的conf.put(Configs.IGNORE_SUFFIX, ignoreSuffix)和apache nifi updateAttribute将文件重命名为.ignore我需要在完全移动后重新命名文件，我该如何实现？还是有另一种方式？

Answer 1

当写入HDFS时，NiFi将在文件中写入包含开头点的文件名，如“.foo.txt”，当写操作完成时，它会将其重命名为不带“foo.txt”的点的名称。因此，如果Storm有办法忽略前缀，那么你应该能够忽略任何以点开头的东西。