GenerateTableFetch删除没有数据的flowfile以进行查询

问题描述 投票:0回答:1

我正在使用GenerateTableFetch与包含table_name的传入流文件来导入数据。我已经使用Additional WHERE clause手动处理表的updated_at列来处理增量更新。

问题是当没有要为构造的查询导入数据时,它只是丢弃流文件。除了这种情况的成功和失败之外,它应该有一个单独的关系,这样我就可以自己处理如果必须为这种情况做些什么。

目前,在工作流程的开始阶段,我正在使用Wait表示我已经投入流量的表格数量,并在完成时使用Notify增加完成计数。但是对于在GenerateTableFetch中掉线的桌子,它只是在等待。

有办法处理这个吗?

apache-nifi hortonworks-data-platform hortonworks-dataflow
1个回答
0
投票

这对添加到GenerateTableFetch确实是一个很好的改进,可能是“零结果输出空FlowFile”之类的可选属性。我写了NIFI-5604来涵盖这种改进。将其与NIFI-5601相结合,您可以进行下游路由(例如,如果fragment.count = 0)。

© www.soinside.com 2019 - 2024. All rights reserved.