ELK堆栈-进一步反序列化kubernetes中归档的“消息”

Question

我有一个kubernetes集群，几乎没有微服务。微服务正在将日志记录/导出为JSON格式。因此，我的ELK堆栈正在kibana中记录消息并进行可视化处理（我正在使用7.3版），并且我正努力进一步反序列化来自微服务的归档消息，以便可以看到在“ message”字段中进一步提取的各个字段。例如，JSON具有“ app”和“ logger”字段-这些字段应类似于当前显示kubernetes字段的方式出现。我已经按照以下方式配置了文件拍，但是我看不到进一步反序列化已归档的消息。你能帮我这个忙吗？请参考我的文件节拍配置。

========================>

kind: ConfigMap
metadata:
  name: filebeat-config
  labels:
    app: filebeat
data:
  filebeat.yml: |-

    # Enable filebeat config reloading
    filebeat.config:
      modules:
        enabled: true
        #path: ${path.config}/modules.d/*.yml
        reload.enabled: true
        reload.period: 10s

    # Available log levels are: error, warning, info, debug
    logging.level: warning

    # To enable hints based autodiscover, remove `filebeat.inputs` configuration and uncomment this:
    filebeat.autodiscover:
      providers:
        - type: kubernetes
          node: ${NODE_NAME}
          hints.enabled: true
          json.message_key: message
          hints.default_config:
            type: container
            paths:
              - /var/log/containers/*${data.kubernetes.container.id}.log
          templates:
            config:
              json.keys_under_root: true
              json.add_error_key: false

    processors:
      - drop_event:
          when:
              or:
                - equals:
                    kubernetes.namespace: "monitoring"
                - contains:
                    message: "NETWORK"
                - contains:
                    message: "INFO"
      - add_cloud_metadata:
      - add_kubernetes_metadata:
      - add_host_metadata:
    

我有一个kubernetes集群，几乎没有微服务。微服务正在将日志记录/导出为JSON格式。所以我的ELK堆栈正在记录消息并在kibana中进行可视化（我正在使用版本7。...

Answer 1

请向我们显示logstash配置文件。

Answer 2

我看到您想使用filebeat.yml来获取JSON解码。这可能是您想要使用的方法。我将此作为单独的答复发送，因为这是完全不同的方法。