我已经在集群系统上工作了很多年，并决定是时候拥有一个工具来让我们轻松查询纯文本日志文件（除其他外）。我将所有日志文件下载到一台旧的测试机器上，压缩后的日志文件大约为 20 GB，但未压缩的日志文件为 550 GB（部分原因是许多堆栈跟踪）。我们有不同的人维护不同的“主题”，多年来我们的日志格式也发生了变化。但我们假设我可以以某种方式将其转换为跨所有主题的单一一致格式。
我的问题是：是否有一些免费/开源工具可以让我释放这些文件，并且它会自动识别重复出现的类似日志消息。作为示例消息：
User John Smith has logged in from IP aaa.bbb.ccc.ddd. Duration: zzz ms.
鉴于此类消息的许多实例，该工具将计算出如下模式：
User * has logged in from IP *. Duration: * ms.
其中 * 是变化数据的占位符。一旦我们有了这些模式（需要定期更新），我们就可以将每条新消息与这些模式进行匹配，并构建有用的统计数据。
理想情况下，该工具应该是 Java、Python 或 Perl，因为我们使用这些工具，并且我们处于混合的 Windows/Linux 环境中。
这也可能是一个选项：Grok，Python 中的自动日志模式发现