从 AWS kafka 主题读取消息时出现错误

Question

/workspace/source/kafka_2.13-3.1.0/bin/kafka-console-consumer.sh --bootstrap-server b-2.mbnmskclustersi.whjxra.c13.kafka.us-east-1.amazonaws.com:9096,b-1.mbnmskclustersi.whjxra.c13.kafka.us-east-1.amazonaws.com:9096 --topic mbn-to-ens-notification --from-beginning

[2024-04-30 20:14:51,039] WARN [Consumer clientId=console-consumer, groupId=console-consumer-49176] Bootstrap broker b-1.mbnmskclustersi.whjxra.c13.kafka.us-east-1.amazonaws.com:9096 (id: -2 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)

Answer 1

我建议添加有关客户端配置、与 Kafka 相关的环境变量等的更多详细信息...以便更好地分析根本原因。

但是，从我在问题的 CLI 示例中看到的情况来看，您正在使用 SASL-SCRAM（端口 9096），但您没有提供任何定义安全协议、SASL-SCRAM JAAS 配置和其他配置的客户端配置.

检查文档，如果这不起作用，请向我们提供有关您尝试的操作以及遇到的错误的更多详细信息。

简而言之，您需要创建（例如）

client-scram.properties

文件，其中包含以下内容：

security.protocol=SASL_SSL
sasl.mechanism=SCRAM-SHA-512
sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="username" password="password";

然后，当您运行 CLI 时，将此文件添加为使用者配置：

/workspace/source/kafka_2.13-3.1.0/bin/kafka-console-consumer.sh \
  --bootstrap-server b-2.mbnmskclustersi.whjxra.c13.kafka.us-east-1.amazonaws.com:9096,b-1.mbnmskclustersi.whjxra.c13.kafka.us-east-1.amazonaws.com:9096 \
  --topic mbn-to-ens-notification \
  --from-beginning \
  --consumer.config <path_to>/client-scram.properties