预处理后，使用logstash将数据从MySQL导入到elasticsearch

Question

我正在尝试使用logstash将数据从MySQL导入到elasticsearch，一切正常，我将所有数据导入得很好。但是，MySQL中称为“元数据”的一个字段遵循特定的模式，例如“firstname_lastname_yyyy-MM-dd HH：mm：ss”，例如，这是它可能采用的值之一“Mark_Karlos_2018-02-23 15 ：19：55“，此时此字段导入Elasticsearch，我想要做的是将此字段作为Elasticsearch中的三个字段”first_name“，”last_name“，”time“。这是否可以使用Logstash配置文件完成？如果没有，还有其他办法吗？

Answer 1

您可以使用grok过滤器：

grok {
    match => {"metadata"=> "%{GREEDYDATA:first_name}_%{GREEDYDATA:last_name}_%{TIMESTAMP_ISO8601:time}"}
}

为了帮助您使用grok过滤器：

Official documentation

Existing patterns

To test your patterns