如何将AWS cloudwatch日志流式传输到ELK堆栈?

问题描述 投票:0回答:1

我正在使用 Elastic 的 ELK 堆栈进行日志监控和分析,该堆栈在 EC2 集群上运行。我想将 Cloudwatch 日志组中的所有日志发送到 ELK。一种似乎可行的解决方案是将所有日志存储在 S3 存储桶中,并使用 S3 输入插件将日志发送到 Logstash。

有没有一种方法可以使用 lambda 函数或 Kinesis 或任何其他服务将日志从 Cloudwatch 直接流式传输到我的 ELK 堆栈?

注意:我没有使用 AWS Elasticsearch,我使用的是 Elastic 的 ELK 堆栈。

amazon-web-services elasticsearch logging aws-lambda amazon-kinesis
1个回答
0
投票

将日志实时流式传输到 ELK 的一种无服务器方式是订阅 Lambda 函数到 Cloudwatch 日志,然后将日志发送到 Elasticsearch。这对于大多数实施来说都是具有成本效益的。

已经有许多开源代码实现可用于此 Lambda 函数,但对于 Elastic stack “Elastic Serverless Forwarder for AWS” 似乎是一个很好的实现,您可以从供应商那里获得支持。

它还可以与 SQS 配合使用,您可以使用它为 Lambda 函数错误创建死信队列,并且一旦您解决了导致 Lambda 函数错误的任何问题,AWS 的 Elastic Serverless Forwarder 也可以配置为从队列中使用进入死信队列的事件。

© www.soinside.com 2019 - 2024. All rights reserved.