在cloudwatchLogs中为每个日志文件创建一个logStream

问题描述 投票:5回答:1

我使用AWS CloudWatch日志代理将我的应用程序日志推送到AWS Cloudwatch。

在我的cloudwatchLogs里面的EC2 instance配置文件中,我有这个条目:

[/scripts/application]
datetime_format = %Y-%m-%d %H:%M:%S
file = /workingdir/customer/logfiles/*.log
buffer_duration = 5000
log_stream_name = {instance_id}
initial_position = start_of_file
log_group_name = /scripts/application

根据此配置,workingdir目录中的所有日志文件都被发送到同一个流中的cloudwatchLogs,名称是实例Id。

我的问题是,我想为每个日志文件创建一个单独的logStream,以便日志读取可以更快速和可解析。换句话说,每次我有一个新的日志文件时,都会自动创建一个新的日志流。

我想通过cron作业中的shell脚本来做到这一点,但后来我必须更改架构中的许多其他配置,所以我正在寻找一种方法在配置文件中执行它。在文档中,他们说:

log_stream_name

指定目标日志流。您可以使用文字字符串或预定义变量({instance_id},{hostname},{ip_address})或两者的组合来定义日志流名称。如果日志流尚不存在,则会自动创建日志流。

日志文件的名称不能100%可预测,但它们总是具有以下结构:

CustomerName-YYYY-mm-dd.log

另外,另一个问题是:

必须停止并重新启动正在运行的代理才能使配置更改生效。

在这种情况下如何设置logStream?

任何想法或建议或解决方法都非常感谢。

amazon-web-services amazon-ec2 configuration stream amazon-cloudwatchlogs
1个回答
0
投票

我知道它已经差不多两年了,但是我想做同样的事情,却找不到办法让它发挥作用。我使用了AWS Support,然后确认无法完成此操作。我们仅限于文档中提供的选项,就像您发布的那样。但是,您可以将日志组包含到第一个点的日志文件路径:

log_group_name - 可选。指定在CloudWatch Logs中用作日志组名称的内容。允许的字符包括a-z,A-Z,0-9,'_'(下划线),' - '(连字符),'/'(正斜杠)和'。' (期)。

我们建议您指定此字段以防止混淆。如果省略此字段,则直到最后一个点的文件路径将用作日志组名称。例如,如果文件路径为/tmp/TestLogFile.log.2017-07-11-14,则日志组名称为/tmp/TestLogFile.log。

https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/CloudWatch-Agent-Configuration-File-Details.html

© www.soinside.com 2019 - 2024. All rights reserved.