Kafka Producer将生产者消息限制为1024字节

Question

我正在尝试使用终端生成kafka消息。我下载了此版本kafka_2.12-2.4.1.tgz。我尝试启动Zookeeper服务器，然后再启动Kafka服务器。我有一个超过1024个字节的json。不允许发送超过1024个字节。

我试图参考How can I send large messages with Kafka (over 15MB)?。但这没有帮助。不知道我是否缺少任何配置更改。

Producer Config

max.request.size=2147483647 
socket.buffer.size=2147483647 

服务器配置

socket.request.max.bytes=2147483647
replica.fetch.max.bytes=2147483647
message.max.bytes=2147483647
max.message.bytes=2147483647
replica.fetch.max.bytes=2147483647

Consumer Config

max.request.size=2147483647
fetch.message.max.bytes=2147483647
max.partition.fetch.bytes=2147483647

Answer 1

对于大消息[[接收，您也应该增加max.partition.fetch.bytes用户配置参数。

max.partition.fetch.bytes：

服务器将返回的每个分区的最大数据量。记录是分批提取的由消费者。如果第一个记录中的第一个非空提取的分区大于此限制，该批次仍将返回以确保消费者可以取得进步。最大值经纪人接受的记录批量大小是通过以下方式定义的message.max.bytes（代理配置）或max.message.bytes（主题配置）。请参阅fetch.max.bytes以限制使用者请求的大小。