向社区问好， 我们最近从 ELK 迁移到 OpenSearch，自从迁移以来，我们在尝试使用 Logstash 将基于时间的日志文件写入 OpenSearch 时遇到了与延迟和重试相关的问题。我们的OpenSearch版本是2.4.0，Logstash版本是7.16.3。 当 Logstash 尝试写入 15 天前的索引时，就会出现问题。我们观察到大量以下形式的日志条目：
[host-1.XXX.com] Will delay 47084 milliseconds for the next execution of job sample-index-2023.07.16
这些延迟会造成严重的中断并对我们集群的性能产生不利影响。
我们非常感谢社区提供的任何指导和见解，以帮助我们有效解决此问题。如果我们应该考虑任何最佳实践或特定配置，我们将渴望学习和实施它们。 预先感谢。
我们已经采取了几个步骤来解决这个问题： 监控资源利用率，例如CPU、内存和磁盘使用情况，并确保我们的集群有足够的资源来处理工作负载和定期维护任务。 微调索引设置、分片分配和搜索查询，以减少旧索引的负载。 验证了我们的 Logstash 配置并确保其符合 OpenSearch 的要求。 尽管做出了这些努力，我们在写入旧索引时仍然面临延迟和重试，这正在影响我们的数据摄取过程。