td-agent fluentd无法向Kafka发送消息

Question

我有一个td-agent向Kafka队列发送消息没有问题。但现在我收到以下错误。我重新启动了代理，没有运气。我手动冲洗缓冲区没有运气。

任何有关正在发生的事情的建议都是受欢迎的

2019-03-20 16:44:06 +0100 [警告]：＃0发生异常：无法向test-250-events发送消息/ 0 2019-03-20 16:44:06 +0100 [warn]： ＃0 Exception Backtrace：/opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/ruby-kafka-0.6.8/lib/kafka/producer.rb:330:in在_mexxswpoiblock中的deliver_messages'/ opt / td-agent / embedded / lib / ruby​​ / gems / 2.4.0 / gems / ruby​​-kafka-0.6.8 / lib / kafka / instrumenter.rb:23:in

deliver_messages_with_retries'
/opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/ruby-kafka-0.6.8/lib/kafka/producer.rb:238:in

deliver_messages'/ opt / td-agent / embedded / lib / ruby​​ / gems / 2.4.0 / gems / fluent-plugin-kafka-0.7.9 / lib / fluent / plugin / out_kafka_buffered.rb：281：in

instrument'
/opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/ruby-kafka-0.6.8/lib/kafka/producer.rb:231:in

write'/ opt / td-agent / embedded / lib / ruby​​ / gems / 2.4.0 / gems / fluentd-1.2.6 / lib / fluent / compat / output.rb:131:in

deliver_messages'
/opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluent-plugin-kafka-0.7.9/lib/fluent/plugin/out_kafka_buffered.rb:344:in

try_flush'/opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/ fluentd-1.2.6 / lib / fluent / plugin / output.rb:1394：在

write'
/opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluentd-1.2.6/lib/fluent/plugin/output.rb:1111:in

block（2级）的开头'/opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluentd- 1.2.6 / lib / fluent / plugin_helper / thread.rb：78：在`block in thread_create'2019-03-20 16:44:06 +0100 [info]：＃0初始化kafka生产者： kafka 2019-03-20 16:44:06 +0100 [warn]：＃0无法刷新缓冲区。 retry_time = 5 next_retry_seconds = 2019-03-20 16:44:05 +0100 chunk =“58471660306e5c7712d0c2ff1a546048”error_class = Kafka :: DeliveryFailed error =“无法向test-250-events / 0发送消息”2019-03-20 16 ：44：06 +0100 [警告]：＃0抑制相同的堆栈跟踪

从服务器连接Kafka集群：

user @ server：〜$ telnet digital.servicebus.windows.net 9093尝试13.69.64.0 ...连接到digital-dev-01.servicebus.windows.net。逃脱角色是'^]'。

先感谢您

Answer 1

我们遇到了完全相同的问题。在Azure北欧的Kubernetes集群中熟练掌握Kafka输出。

3月19日下午1点左右，它停止了多个集群的工作。

编辑：我们在最终找到了解决方案。基本上要确保你有更新版本的ruby-kafka和/或fluent-kafka-plugin

我们通过在我们的Kubernetes清单中实现了这一点。

容器： - 名称：流利的图像：fluent / fluentd-kubernetes-daemonset：v1.3.3-debian-kafka-1.2命令：[“/ bin / sh”] args：[“ - c”，“cp / fluent-config / * .conf / fluentd / etc / && gem install fluent-plugin-detect-exceptions && gem install fluent-plugin-prometheus && gem update fluent-plugin-kafka && / fluentd / entrypoint.sh“]