Elasticsearch重新索引被卡住

问题描述 投票:0回答:1

语境

我们有两个Elasticsearch集群,每个集群有6个节点和3个节点。有6个节点的集群是我们在生产环境中使用的,而有3个节点的集群是用于测试的。(我们在两个集群中遇到了同样的问题)。所有的节点都有以下特点。

  • Elasticsearch 7.4.2
  • 1TB HDD磁盘
  • 8GB内存

在我们的案例中,我们需要重新索引一些索引。这些索引有数十亿个文档,大小在50GB到250GB之间。

遇到的问题

每当我们开始重新索引时,不管是在内部还是从远程来源,任务都会开始正常工作,但是到了一个点,它就会无缘无故的停止重新索引。我们在日志中看不到任何东西。任务没有被取消,只是停止重新索引文档,看起来像是任务被卡住了。我们尝试改变GC策略,我们使用CMS和Shenandoah,但没有任何变化。

有人遇到过同样的问题吗?

elasticsearch elastic-stack
1个回答
1
投票

在不调试的情况下,根据你提供的少量信息(集群和索引配置缺失、索引慢速日志信息、elasticsearch错误日志、Elasticsearch热线程等等),很难找到这些问题的RCA。

但由于很难提供所有的信息,也很难做到实时调试。欧普斯特提高重索引性能的小窍门 可以帮助您找到RCA或提高您的重索引性能。

您也可以检查 识别搜索慢记录 其中也有关于如何分析慢速日志的说明,你也可以应用于索引慢速日志。

如果你有更多的问题,请告诉我。

© www.soinside.com 2019 - 2024. All rights reserved.