Nifi在前一天合并的json文件在HDFS路径上移动文件

问题描述 投票:0回答:1

我需要将前一天处理和合并的json文件移到新的hdfs路径中。要求是递归搜索未处理的文件并移动待处理的未处理的文件。

路径1-> /data/nifi/working/2019/10/source_2019_10_15.json ---每日处理的文件在此路径下合并,并每天添加。路径2-> / data / nifi / incoming /-代码应该搜索文件夹是否不存在,然后创建和移动文件,只要文件夹已经存在,就移动文件。

当前,我正在使用nifi流-ListHDFS-> MoveHDFS,但无法实现。

需要帮助才能实现这一目标。

谢谢您的帮助。

apache-nifi hortonworks-data-platform cloudera-cdh mapr data-ingestion
1个回答
0
投票

当前流运行正常。

listhdfs-> fethchdfs-> updateattribute-> puthdfs

在listhdfs中,设置文件使用前的最小等待时间。这将使进程可以递归搜索文件,还可以使用updateattribute来重新创建文件夹,并将文件处理到/ data / nifi / incoming /。

© www.soinside.com 2019 - 2024. All rights reserved.