我遇到以下错误,我尝试使用Kafka控制台生产者将大约2GB的文件推送到Kafka

问题描述 投票:0回答:1

kafka-console-producer --broker-list localhost:9092 --topic com-hftl2

[[2019-12-25 16:09:24,476]错误将消息发送到主题com-hftl2时出现错误,键为:null,值:20299831字节,错误为:(org.apache.kafka.clients.producer.internals.ErrorLoggingCallback )org.apache.kafka.common.errors.RecordTooLargeException:序列化时,消息为20299919字节,大于您使用max.request.size配置配置的最大请求大小。

apache-kafka
1个回答
0
投票

该命令会将文件的每一行都视为其自己的消息。

Kafka默认只允许最大记录大小为1MB ...如果您确实打算发送远大于几个MB的数据,则最推荐的模式是使用共享文件系统(例如NFS或S3),然后发送文件路径在记录中,并期望消费者然后分别下载文件

© www.soinside.com 2019 - 2024. All rights reserved.