如何定期交付ML文件? NIFI ML 与 REST API

问题描述 投票:0回答:0

ML 内容数据库中有 100 万个文档。 要求定期(每周)通过类似文件的存储(Azure Blob 存储)将更改或修改的文档交付给外部方。平均而言,每周大约有 2 万份文件。

解决方案有两种实现方式。

方法一是使用NIFI搭配ML nifi connector。就是这样提取marklogic文档nifi样本.

方法2是使用search:search API和rest document API通过REST API提供分页搜索REST端点+下载文档端点。然后安排一个 python 脚本来使用上面的 2 个 REST 端点来完成它。

哪种方式更好?为什么?哪种方式在交付速度方面更快?还有其他更好的方法来解决这个问题吗?

apache-nifi marklogic
© www.soinside.com 2019 - 2024. All rights reserved.