FluentBit与直接从Kinesis数据流生产者的Services(Go)中使用Aws SDK?

问题描述 投票:0回答:1

有人在运动学数据流生产者选项方面帮助我吗?我正在寻找FluentBit直接从服务中使用Aws SDK(在Go中)之间的性能比较但是我很难弄清楚如何比较那些...

amazon-web-services kubernetes amazon-kinesis fluentd fluent-bit
1个回答
0
投票

我已经对Fluent Bit的Kinesis Firehose Go插件进行了一些性能测试。向下滚动到this blog的末尾。 Kinesis Streams插件应该相似,因为其代码几乎相同。

以2.5 MB / s的速度,Fluent Bit在C5.9xlarge实例上使用13%的CPU和55 MB的内存。

我怀疑直接使用SDK的性能会更高。使用Fluent Bit可能还会导致上传数据时出现延迟-取决于您打算如何将数据吸收到其中。

长期而言,我计划/希望以纯C语言重写AWS Fluent Bit插件,并将其贡献给Fluent Bit的核心。这将大大提高他们的资源使用率。

© www.soinside.com 2019 - 2024. All rights reserved.