Elasticsearch 日志记录实时示例

Question

我最近一直在使用 ELK（Elasticsearch、Logstash、Kibana），我必须承认，当我尝试将某些概念应用到现实场景中时，我并不太理解它们。让我用一个例子来解释我的用例和一直困扰我的问题。

假设我们要使用ELK进行日志分析，从多个服务器收集日志。例如，我们使用 Logstash 从 IP 地址为 IP1、IP2、IP3 和 IP4 的服务器收集日志（每台服务器平均每天累积 10 GB 的日志数据）。我想在 Elasticsearch 中对这些日志建立索引。我决定将来自 IP1 和 IP2 服务器的日志分组到 INDEX1，将来自 IP3 和 IP4 服务器的日志分组到 INDEX2，因为这些 IP 范围对应于不同应用程序的日志。假设 Elasticsearch 和 Kibana 安装在 IP 地址为 IP5 的服务器上。

在这样的设置中，在配置 Elasticsearch 集群中的节点时，我很难完全掌握一些抽象方面。我不太确定如何构建我的节点设置。以下是我正在考虑的两种可能的配置：

cluster.name: my-cluster
node.name: master-node-1
node.master: true
node.data: false
network.host: IP5
discovery.seed_hosts: ["IP5"]
cluster.initial_master_nodes: ["master-node-1", "master-node-2", "master-node-3"]

cluster.name: my-cluster
node.name: data-node-1
node.master: false
node.data: true
network.host: IP5
discovery.seed_hosts: ["IP5"]

或者这个结构适合我的情况

cluster.name: my-cluster
node.name: master-node-1
network.host:IP5
discovery.seed_hosts: ["IP5", "IP1", "IP2", "IP3", "IP4"]
cluster.initial_master_nodes: ["my-node-1"]

我想知道这种结构是否有意义，或者是否有更好的方法来设置节点。如果您有任何建议或者我误解了某些方面，我将非常感谢您的见解。此外，如果您可以推荐通过实时示例解释多服务器设置的文章或资源，我会发现这非常有帮助。

谢谢！

我尝试根据我的具体用例配置 Elasticsearch 节点。我考虑了两种节点配置：

Answer 1

您发送日志的服务器不属于 Elasticsearch 集群的一部分。所以场景 1 可能更好。但根据您的规模，取决于您的保留期，可能没有必要将主节点和数据节点分开。

而是创建一个包含所有角色的 3 节点集群并在那里提取数据。