corb job如何在marklogic中挑选文档?

问题描述 投票:0回答:1

假设我有5M个文档满足URI模块。但是当我运行 corb 进程时,由于堆大小问题,它只处理了 2M 记录。那么,如果我再次运行该作业,它会再次选择相同的 2M 记录还是从剩余的 3M 记录中选择?

注意 - 我的代码中没有任何逻辑来在每次运行时选择下一组数据。

如何以这样的方式进行设置,以便每次运行时都应该选择下一组记录。我正在手动运行这些作业。或者 corb 会默认选择下一组数据?

xquery marklogic-10 marklogic-corb
1个回答
0
投票

如果您的客户端没有足够的内存来保存队列的所有 URI,那么您可以启用 DISK-QUEUE 选项。

布尔值,指示当最大数量的 URI 已加载到内存中时,CoRB 作业是否应溢出到磁盘,以控制内存消耗并避免超大 URI 集出现内存不足异常。

启用该选项将允许 CoRB 溢出到磁盘并使用文件来保存要处理的 URI 列表,而不是将它们全部保存在内存中。

如果没有它,如果您填满内存并因内存不足错误而崩溃 - 那么当您重新运行时,您可能会重新处理相同的初始 URI 集,除非您的 URI 模块中有任何逻辑可以更改排序顺序或排除已处理的文档。

© www.soinside.com 2019 - 2024. All rights reserved.