如何增加Elasticsearch 5.6.7写性能

问题描述 投票:0回答:1

我正在尝试对我的Hot-Warm Structured Elasticsearch集群进行基准测试。我做了很多测试。我跟着很多东西。我认为,我的指数利率仍然是不可接受的。

在我的集群中,我有13个具有SSD的热服务器,其中3个具有NVMe。相对较好的CPU。和3个温暖的服务器。在我的测试中,我得到最大250k主要分片摄取,总分为500k。因为我使用1个replicaton计数。

对我来说这意味着,每台服务器插入38k文件,因为我使用1个副本计数,这意味着每个服务器有19k文件。对于这样的基本键值模型,索引速率对我来说太慢了。当我看到我无法测试我的真实模型。

对我有什么建议吗?

我做了以下建议

  • bootstrap.memory_lock:是的
  • thread_pool.bulk.queue_size:100000(开头是200,然后我测试了20000.现在是100000)
  • thread_pool.index.queue_size:100000(开头是200)
  • 基本键值模型。 1个副本,增加刷新间隔,高或低碎片计数。禁用_source和_all字段。我的模型如下。自动生成的ID。
  • 我使用批量处理器摄取数据。我在客户端测试了更改文档计数和并发性。我使用多个强大的服务器来摄取数据。我的客户有热服务器ips来摄取数据,而不是热服务器。 {“template”:“test01 *”,“settings”:{“index”:{“routing”:{“allocation”:{“require”:{“box_type”:“hot”}}},“refresh_interval”: “600s”,“number_of_shards”:“26”,“number_of_replicas”:“1”}},“mappings”:{“test01”:{“_ source”:{“enabled”:false},“_ all”:{“启用“:false”,“动态”:false,“属性”:{“rt”:{“type”:“keyword”},“con”:{“type”:“float”}}}}}
elasticsearch elasticsearch-5
1个回答
0
投票

一点建议,索引设置应该添加index.routing.allocation.total_shards_per_node来控制均匀分布在节点上的索引分片。

© www.soinside.com 2019 - 2024. All rights reserved.