kafka streaming application 不会消耗所有主题,也不会抛出错误

问题描述 投票:0回答:0

我编写了 java springboot kafka 流处理器应用程序(Kubernetes 1 pod,扩展到 3 以查看是否有帮助,传入消息在上午 12 点后增加)具有多个输入目的地和多个输出目的地,应用程序运行良好,而我测试(当时我启用了一个 in-0-destination 和 1 out-0-destination),当我在开发环境中部署时,我观察到它从 1 个主题消费并且根本不消费来自其他主题的消息。我是 kafka 流的新手,有几件事我不确定我是否在这里做错了,我没有看到任何异常或错误但确实注意到,它无休止地在日志中显示以下几行,我已经阅读了几个网页正在谈论重新平衡问题

几行日志-

INFO 2023-03-20T05:19:16.765840655Z [resource.labels.containerName: app] o.a.k.c.c.i.ConsumerCoordinator | [Consumer clientId=app1-0c725685-e7e5-47db-9d20-b8bab43d9eaa-StreamThread-1-consumer, groupId=app1] Request joining group due to: group is already rebalancing
INFO 2023-03-20T05:19:13.902115838Z [resource.labels.containerName: app] o.a.kafka.streams.KafkaStreams | stream-client [app1-7aad2209-2b6d-4e0a-bdca-8739905eb66a] State transition from REBALANCING to RUNNING
INFO 2023-03-20T05:19:13.901956567Z [resource.labels.containerName: app] o.a.k.s.p.i.StreamThread | stream-thread [app1--7aad2209-2b6d-4e0a-bdca-8739905eb66a-StreamThread-1] State transition from PARTITIONS_ASSIGNED to RUNNING
INFO 2023-03-20T05:19:13.901643975Z [resource.labels.containerName: app] o.a.k.s.p.i.StreamThread | stream-thread [app1-7aad2209-2b6d-4e0a-bdca-8739905eb66a-StreamThread-1] Restoration took 100 ms for all tasks []
INFO 2023-03-20T05:19:13.899467996Z [resource.labels.containerName: app] o.a.kafka.streams.KafkaStreams | stream-client [app1-6c573676-a2ad-4aef-8303-126211f1661b] State transition from REBALANCING to RUNNING
INFO 2023-03-20T05:19:13.899339816Z [resource.labels.containerName: app] o.a.k.s.p.i.StreamThread | stream-thread [app1-6c573676-a2ad-4aef-8303-126211f1661b-StreamThread-1] State transition from PARTITIONS_ASSIGNED to RUNNING
INFO 2023-03-20T05:19:13.899220957Z [resource.labels.containerName: app] o.a.k.s.p.i.StreamThread | stream-thread [app1-6c573676-a2ad-4aef-8303-126211f1661b-StreamThread-1] Restoration took 101 ms for all tasks []
INFO 2023-03-20T05:19:13.899099307Z [resource.labels.containerName: app] o.a.kafka.streams.KafkaStreams | stream-client [app1-5176beed-c5cb-411a-a041-6dd51833bcde] State transition from REBALANCING to RUNNING

我不确定这种行为是否正确。

这是我到目前为止尝试过的

  • 我已经测试了每个输入 + 输出 kafka 主题组合,这很好用
  • 我已将输出目标分区从 3 更改为 6(输入分区为 6)
  • 我已经将 kubernetes pod 从 1 缩放到 3(去观察它)

我有大约 10 个输入和 10 个输出目标 kafka 主题,输出 kafka 主题目标是动态更改的(名称更改,主题预先存在于 kafka),我使用 StreamBridge 发送到目的地。

我已经验证过,看看是否有人有同样的问题,但看不到我的确切场景。感谢您提供的任何帮助。

spring-kafka apache-kafka-streams spring-cloud-stream
© www.soinside.com 2019 - 2024. All rights reserved.