在Confluent 5.0.1中，"错误.deadletterqueue.topic.name "没有效果。

Question

我最近从confluent 4.0.1升级到了confluent 5.0.1。bootstrap.server的版本是Kafka 1.0。在我的HBaseSink连接器中，我已经将新功能""错误.死信queue.topic.name "配置如下。

{ "name": "kafka-hbase4", "config": { "connector.class": "com.xxxx.hbase.sink.HBaseSinkConnector", ...... "zookeeper.quorum": "xxxx:2181", "topic": "oplog_demo.hbase_test1"，"errors.deadletterqueue.topic.name": "error-topic-1" }。 }

程序正常工作O.K.但是，当我向HBase Sink Connector的topic发送一些错误信息时，比如一些中文单词 "哈哈哈"，程序就会宕机，抛出一个SerializationException，而且 "error-topic-1 "没有任何信息被消耗。

这是不是意味着配置 "errors.deadletterqueue.topic.name "没有用？怎么会这样，我怎么能让这个配置工作呢？

Answer 1

确保错误容忍度设置正确

"errors.tolerance": "all"

这是一个非常好的DLQ配置资源。连接到Apache KafkaKafka连接深挖--错误处理和死字队列。