Kafka流不起作用：组协调器不断发现并且不可用/无效

Question

最近，我们的（Kafka 1.1.1）代理崩溃了，我们的Kafka-stream应用程序停止运行。因此，我们手动停止了该应用程序以停止警报。

[Kafka再次上线后，我们启动了流应用程序，但未读取该主题的任何消息。阅读完组协调员不断发现的日志后，我们发现了这些日志，然后又无休止地再次变得不可用。

下面是日志。

[Consumer clientId=dummy-consumer-id-6b3ad573-5b6a-4e89-82c1-1705e3662d55-StreamThread-10-consumer, groupId=dummy-consumer-id] Group coordinator test-kafka01.com:9092 (id: 2147483644 rack: null) is unavailable or invalid, will attempt rediscovery
loggerName":"org.apache.kafka.clients.consumer.internals.AbstractCoordinator

[Consumer clientId=dummy-consumer-id-6b3ad573-5b6a-4e89-82c1-1705e3662d55-StreamThread-1-consumer, groupId=dummy-consumer-id] Discovered group coordinator test-kafka01.com:9092 (id: 2147483644 rack: null)
loggerName":"org.apache.kafka.clients.consumer.internals.AbstractCoordinator

[Consumer clientId=dummy-consumer-id-6b3ad573-5b6a-4e89-82c1-1705e3662d55-StreamThread-1-consumer, groupId=dummy-consumer-id] (Re-)joining group
loggerName":"org.apache.kafka.clients.consumer.internals.AbstractCoordinator

[Consumer clientId=dummy-consumer-id-6b3ad573-5b6a-4e89-82c1-1705e3662d55-StreamThread-3-consumer, groupId=dummy-consumer-id] Discovered group coordinator test-kafka01.com:9092 (id: 2147483644 rack: null)
loggerName":"org.apache.kafka.clients.consumer.internals.AbstractCoordinator

[Consumer clientId=dummy-consumer-id-6b3ad573-5b6a-4e89-82c1-1705e3662d55-StreamThread-3-consumer, groupId=dummy-consumer-id] (Re-)joining group
loggerName":"org.apache.kafka.clients.consumer.internals.AbstractCoordinator

[Consumer clientId=dummy-consumer-id-6b3ad573-5b6a-4e89-82c1-1705e3662d55-StreamThread-2-consumer, groupId=dummy-consumer-id] Discovered group coordinator test-kafka01.com:9092 (id: 2147483644 rack: null)
loggerName":"org.apache.kafka.clients.consumer.internals.AbstractCoordinator

[Consumer clientId=dummy-consumer-id-6b3ad573-5b6a-4e89-82c1-1705e3662d55-StreamThread-2-consumer, groupId=dummy-consumer-id] (Re-)joining group
loggerName":"org.apache.kafka.clients.consumer.internals.AbstractCoordinator

[Consumer clientId=dummy-consumer-id-6b3ad573-5b6a-4e89-82c1-1705e3662d55-StreamThread-1-consumer, groupId=dummy-consumer-id] Group coordinator test-kafka01.com:9092 (id: 2147483644 rack: null) is unavailable or invalid, will attempt rediscovery
loggerName":"org.apache.kafka.clients.consumer.internals.AbstractCoordinator

经过大量分析后，我们决定更改流应用程序ID并启动该应用程序，一切正常，但一段时间后再次发生相同的问题。

[请帮助我调试此问题。我们负担不起每次都更改流应用ID的问题，请告知我是否需要任何详细信息。

Answer 1

[这很可能是由于您的Kafka Streams应用具有错误的bootstrap.servers配置。

确保可以解析在App配置中描述为引导服务器的整个阵列。如果其中一些有效，而其他无效，则KStreams应用程序将无法平衡分区。

根据您的描述，如果您使用IP而不是DNS域来解决您的Kafka经纪人，则它们在崩溃后可能已更改。确保它们是可解析的DNS名称（不是IP），并且都已正确解析-您可以对其进行ping操作以确保确实如此。