我们目前正在使用 tail 输入收集 IIS 日志,并使用 Fluentbit 将它们发送到 New Relic。
Fluent-bit.conf
[SERVICE]
Flush 1
Log_File C:\inetpub\logs\LogFiles\W3SVC1\*.log
Parsers_File C:\Program Files\New Relic\newrelic-infra\parsers.conf
[INPUT]
Name tail
Path C:\inetpub\logs\LogFiles\W3SVC1\*.log
Parser iis_logs_parser
Mem_Buf_Limit 1000MB
[OUTPUT]
name nrlogs
match *
api_key {{NewRelicKey}}
现在我们想要收集可以在 Azure Blob 存储中访问的另一个日志源。我们希望使用 Fluentbit,以便以相同的方式解析两个数据源,确保收集的字段相同,仅使用源扩展它们。这样我们就可以以几乎相同的方式处理/可视化两个数据源。
如何配置 Fluentbit 从 Azure Blob 存储读取日志?我们正在寻找什么样的 Fluentbit 输入?
这些是受支持的 Fluentbit 输入: https://docs. Fluentbit.io/manual/pipeline/inputs
不支持 Azure Blob 存储,也不支持 Amazon S3。 FluentBit 被设计为轻量级/嵌入式日志收集器,因此其输入积压工作会相应地优先化。所有繁重的工作通常由 fluidd 处理。
我还检查了 fluidd - 有几个用于 Azure blob 存储的插件,但找不到支持输入的插件(S3 插件支持输入/输出)。看起来解决方案将是由存储事件触发的 azure 函数,读取文件并进一步发送数据。
Local logs -> FluentBit -TCP-> fluentd-server -> destinations
Azure storage -> Azure function -TCP-> fluentd-server -> destinations
此线程很旧,但只是想添加可能有帮助的新信息。
“Fluent Bit 和 Azure Data Explorer 已同意合作,并发布了用于 Azure Blob 存储的新输出连接器。”
有人找到了直接从 Azure 存储帐户读取日志的方法吗?
我想将 Promtail 与 Loki 一起使用,但到目前为止,我还没有找到直接的方法来做到这一点。现在我正在搜索 Fluentd 或 Fluentbit 是否可以直接从存储帐户进行读取,然后将 Loki 馈送到 AKS 集群中。
建议使用带有插件的Logstash,但好像只支持S3