Nifi SplitXML和EvaluateXPath性能和内存使用情况?

问题描述 投票:0回答:2

我每秒大约800-1000 xml。每个XML大约50-60 KB。我想使用SplitXML和EvaluateXPath进行XML解析。但我不知道内存使用和性能如何。这些处理器是否将整个xml加载到内存中?

xml xml-parsing apache-nifi
2个回答
4
投票

在处理器的文档中有一个名为System Resource Considerations的部分。本节将告诉您这些风险。 SplitXml正在将FlowFile的全部内容加载到内存中,但EvaluateXPath似乎并没有这样做。您可以使用SplitXml而不是SplitRecord,而不会将所有文档加载到内存中。


1
投票

你在做什么样的下游处理?您可能会发现可以使用SplitXml和/或EvaluateXPathUpdateRecordQueryRecord替换为基于记录的处理器,例如XMLReaderXMLRecordSetWriter。然后,您可以在“同一时间”处理XML文件中的所有记录,而不必将它们拆分并对每个记录执行相同的操作。

© www.soinside.com 2019 - 2024. All rights reserved.