我是 Elasticsearch 的新手。
分片概念参考这篇文章:
https://codingexplained.com/coding/elasticsearch/understanding-sharding-in-elasticsearch
和复制本文:https://codingexplained.com/coding/elasticsearch/understanding-replication-in-elasticsearch
我有以下困惑
假设我们有一个包含 1 TB 数据的索引,我们有两台机器,每台机器有 512GB 磁盘空间。由于我们无法将整个索引存储在一台机器上,因此我们必须创建一个具有 2 个节点的集群。节点 A 和节点 B 现在有主分片,每个分片分配了 512GB。现在由于节点 A 磁盘空间已满,节点 B 也已满,节点 A 将如何存储 512GB 的副本分片 B,同样,当两台机器都只有 512GB 的磁盘空间时,节点 B 将如何存储 512GB 的副本分片 A .
那么集群中的每个Node是否都有自己的primary shard和其他节点的所有replica shard?这意味着每个节点都包含将消耗硬盘、CPU 和其他指标的所有数据。
我想了解复制是如何工作的,如果每个节点都包含主分片和其他节点分片的副本,那么每个节点都必须有巨大的磁盘空间,这会降低分片的目标,以拆分数据并跨不同的节点存储。