随机有效消息的Kafka消息发布失败，如何解决这个问题？

Question

我们在我们的应用程序中使用kafka，我们发送的消息太多，每条消息的大小都很小，我的意思是消息大小不是问题，如果你试图发布太多消息给kafka主题那么一些消息是他们的任何问题未能发布？

"Publishing error messages to kafka topic failed400 "

我们可以设置他们的任何kafka配置，以便我们可以克服这个问题吗？

注意：调用太多，我的意思是一个发送方法调用，一个消息。

如上所述，每个消息都不是太大，在样本下方给出

{
    "error_details": [
        {
            "error_number": "123",
            "error_message": "how are you",
            "error_sequence": "12345"
        },
        {
            "error_number": "123",
            "error_message": "how are you",
            "error_sequence": "12345"
        },
        {
            "error_number": "123",
            "error_message": "how are you",
            "error_sequence": "12345"
        },
        {
            "error_number": "123",
            "error_message": "how are you",
            "error_sequence": "12345"
        }

    ]
}

这是最大尺寸

Answer 1

你没有说你的消息有多大，但我会尝试增加linger.ms

linger.ms是生产者等待查看是否发送了另一条消息的毫秒数。如果在该时间内发送了另一条消息，则两条消息将在一次呼叫中进行批处理。这可能有助于你的情况。

batch.size设置提供一批消息的最大大小。即使逗留持续时间仍然有效，达到大于batch.size的组合邮件大小将立即发送批处理。

只是不要设置linger.ms太高。在达到该持续时间结束之前不会发送任何内容，除非批量消息当然超过batch.size