Kibana显示具有发现延迟的日志

Question

我有一个带有Elastic Search，Log Stash，Kibana和Filebeat的设置，其版本如下所示。

1）弹性搜索：6.2.42）LogStash：6.2.43）kibana：6.2.4

我的Logstash管道如下：

sudo vim /etc/logstash/conf.d/02-beats-input.conf

input {
    beats {
        port => "5044"
        ssl => true
        ssl_certificate => "/etc/pki/tls/certs/logstash-forwarder.crt"
        ssl_key => "/etc/pki/tls/private/logstash-forwarder.key"
    }
}

filter {
  #If log line contains tab character followed by 'at' then we will tag that 
  entry as stacktrace
  if [message] =~ "\tat" {
    grok {
      match => ["message", "^(\tat)"]
      add_tag => ["stacktrace"]
    }
  }

  #Grokking Spring Boot's default log format
  grok {
    match => { "message" => "(?<timestamp>%{YEAR}-%{MONTHNUM}-%{MONTHDAY} % 
      {TIME})  %{LOGLEVEL:level} %{NUMBER:pid} --- \[(?<thread>[A-Za-z0- 
      9-]+)\] [A-Za-z0-9.]*\.(?<class>[A-Za-z0-9#_]+)\s*:\s+(? 
      <logmessage>.*)"}
    }

  #grok {
    #  match => { "message" => "(?<timestamp>%{YEAR}-%{MONTHNUM}-%{MONTHDAY} 
    # %{TIME})  %{LOGLEVEL:level} %{NUMBER:pid} --- .+? :\s+(? 
    # <logmessage>.*)"}
  #}

  grok {
    match => { "source" => "/var/log/containers/%{DATA:pod_name}_% 
    {DATA:namespace}_%{GREEDYDATA:container_name}-%{DATA:container_id}.log" 
  }
  remove_field => ["source"]
}

sudo vim /etc/logstash/conf.d/30-elasticsearch-output.conf

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    sniffing => true
    manage_template => false
    index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
    document_type => "%{[@metadata][type]}"
  }
}

弹性搜索，Kibana，Logstash在一个VM中运行，而应用程序和Filebeat在另一个VM上运行。

目前，这两个VM之间的日期存在差异，我需要修复。

关于kibana发现的最新日志如下，带有特定时间戳。

message:
  {"log":"TACACS+: No port assigned for host, \"XX.XX.XX.XX\". Using default 
  port 49 instead.\n","stream":"stdout","time":"**2018-05- 
  17T00:58:09.401752809Z**"}
  @timestamp:
  May 16th 2018, 17:58:09.408

以下是该应用程序上的最新日志，带有特定时间戳。

{"log":"TACACS+: No port assigned for host, \"XX.XX.XX.XX\".  Using default 
port 49 instead.\n","stream":"stdout","time":"**2018-05- 
17T06:06:44.365607578Z**"}

[如果您看到上述两个日志，则很明显，kibana显示日志的时间有所延迟，特别是在上述情况下，延迟时间约为5小时。我还看到延迟不断增加。我在基巴那上看到了所有日志。问题是我看到的延迟。

有人可以帮助我了解这种行为吗？这是因为两个VM之间存在时间差异吗？两者都在PDT时区。日志大小应该足够小，我不希望有任何节流措施。

[如果需要其他详细信息，请告诉我。

Answer 1

我相信时间/时区不匹配导致了此问题。只需同步它即可解决问题。