消息在 Apache Kafka 中被截断

Question

我是 kafka 的新手，我已经在本地安装了默认配置的 kafka 10。现在，我面临一个问题。 我正在从控制台制作人生成消息。如果消息大约 4096 字节。然后，它会被控制台消费者很好地消耗掉。 但是，当我将消息大小从 4096 字节增加时。然后，在使用它时，消息将被截断为大约 4096 字节。 我没明白这个问题。

发生了什么事？ a) 消息发布是否不完整。 b) 消息是否未完全消费。

注意：我没有对默认设置进行任何更改，我正在使用控制台生产者和消费者。

请大家帮忙

Answer 1

可能会出现问题，因为您正在使用控制台生成器并将消息复制到终端（linux），但终端将长消息截断为最大固定长度。

Answer 2

您可能需要微调您的代理配置。 检查此页面：https://kafka.apache.org/documentation/#brokerconfigs

查找 offset.metadata.max.bytes。默认值为 4096。将此值设置为大于 4096 的值。如果这不起作用，请查找其他配置。您的问题可能是没有使用正确的配置。

Answer 3

@Ambika 答案是正确的，所以该问题的解决方案是输入以下命令，然后您就可以直接在终端上复制大量字符了

stty-icanon

参考

Answer 4

看来回复晚了，而且已经有办法增加消息限制了。但这与另一个方面有关。

Kafka 被设计为传递轻量级消息。如果您的消息长度太长，请重新考虑您的设计，使用较小的消息以获得更好的性能。