如何查看logstash日志？

Question

对于我的企业应用程序分布式和结构化日志记录，我使用

logstash

进行日志聚合，使用

elastic search

作为日志存储。我可以清晰地控制将日志从我的应用程序推送到logstash。另一方面，从logstash到elasticsearch的控制非常薄弱。

假设，如果我的

elasticsearch

由于某些愚蠢的原因而宕机，logstash 日志（

/var/log/logstash/logstash.log

）会清楚地记录原因，如下所示。

Attempted to send a bulk request to Elasticsearch configured at '["http://localhost:9200/"]', but Elasticsearch appears to be unreachable or down! {:client_config=>{:hosts=>["http://localhost:9200/"], :ssl=>nil, :transport_options=>{:socket_timeout=>0, :request_timeout=>0, :proxy=>nil, :ssl=>{}}, :transport_class=>Elasticsearch::Transport::Transport::HTTP::Manticore, :logger=>nil, :tracer=>nil, :reload_connections=>false, :retry_on_failure=>false, :reload_on_failure=>false, :randomize_hosts=>false}, :error_message=>"Connection refused", :class=>"Manticore::SocketException", :level=>:error}

我将如何获得 Logstash 的

error

级别日志的关注或通知？

Answer 1

应该可以通过以下 3 个步骤完成：

1) 取决于您希望如何获得通知。如果电子邮件就足够了，您可以使用 Logstash 电子邮件输出插件。 但是还有还有更多可用的输出插件。

2) 要限制某些事件，您可以在 Logstash 配置中执行类似的操作（示例取自 Elastic 支持站点）：

if [level] == "ERROR" {
  output {
     ...
  }
}

if

子句不限于JSON的level字段；当然，您可以将其应用于任何 JSON 字段，这使得它更加强大。

3）为了使这项工作正常进行（并且不陷入日志记录周期），您需要：

• 在您的系统上启动第二个 Logstash 实例（只需观察 Logstash ERROR 日志），从here

所写的内容来看应该没问题

• 或者您仅使用一个 Logstash 实例构建更复杂的配置。此配置必须将日志语句从您的应用程序转发到 Elasitcsearch，同时将 Logstash 错误日志中的日志语句转发到例如Logstash 电子邮件输出插件。

---

旁注：您可能想看看 Filebeat，它与 Logstash（也来自 Elastic）配合得很好，而且比 Logstash 更轻量级。它允许在您的配置中使用诸如

include_lines: ["^ERR", "^WARN"]

之类的内容。 要从 Filebeat 接收输入，您必须采用配置将数据发送到 Logstash，对于 Logstash，您必须激活并使用此处描述的 Beats 输入插件。