Kinesis代理未通过firehose发送.log文件

问题描述 投票:1回答:1

我已经设置了Kinesis消防水带,并按照AWS docs中的说明安装了Kinesis代理。我可以将测试数据发送到S3存储桶,但Kinesis代理不会通过发送任何.log文件。我怀疑将代理连接到消防水龙有问题。

我的/etc/aws-kinesis/agent.json文件在下面。我也尝试过不使用"firehose.endpoint"https://,但仍然无法获得任何数据。

我已验证aws-kinesis-agent服务正在运行。

我没有使用kinesis.endpoint / kinesisStream,但是我将流程留在了agent.json文件中。这可能是个问题吗?

我想念什么?

{
  "cloudwatch.emitMetrics": true,
  "kinesis.endpoint": "",
  "firehose.endpoint": "https://firehose.us-west-2.amazonaws.com",

  "flows": [
    {
      "filePattern": "/home/ec2-user/src/Fake-Apache-Log-Generator/*.log*",
      "kinesisStream": "yourkinesisstream",
      "partitionKeyOption": "RANDOM"
    },
    {
      "filePattern": "/home/ec2-user/src/Fake-Apache-Log-Generator/*.log*",
      "deliveryStream": "apachelogfilesdeliverystream"
    }
  ]
}

编辑:

/var/log/aws-kinesis-agent/aws-kinesis-agent.log处的日志文件显示正在解析0条记录。日志消息将我引导至this post,并提出了建议的修复程序。另外,我不得不从/etc/aws-kinesis/agent.json文件中删除运动学流程,以避免在日志文件中显示异常。

Botton行是aws-kinesis-agent无法从/ home / ec2-user /或其子目录读取文件,因此您必须修复agent.json文件。

amazon-web-services amazon-kinesis-firehose amazon-kinesis-agent
1个回答
0
投票

由于某些权限问题,Kinesis代理无法从位于/home/ec2-user/<any-file>的文件中读取日志。尝试将日志位置更改为/tmp/logs/<log-file>

© www.soinside.com 2019 - 2024. All rights reserved.