如何处理Kafka模式演变

Question

我是kafka的新手，这是我对不断变化的kafka模式的疑问。

我们如何在kafka用户端处理架构更改？

如果我们在kafka发布者端更改有效负载结构，如何确保在kafka用户端没有任何中断？

我很想知道行业惯例来处理这种情况。

我不会将Confluent的架构注册表用于avro。还有其他经过验证的选项吗？

Answer 1

Schema Registry是用于随着模式发展而进行集中式模式管理和兼容性检查的解决方案将架构注册表配置到kafka生产者和消费者中]

kafkaProducerProps.put(KafkaAvroSerializerConfig.SCHEMA_REGISTRY_URL_CONFIG,"http://localhost:8081");

kafkaConsumerProps.put(KafkaAvroDeserializerConfig.SPECIFIC_AVRO_READER_CONFIG, "true");

//Schema registry location.
kafkaConsumerProps.put(KafkaAvroDeserializerConfig.SCHEMA_REGISTRY_URL_CONFIG, "http://localhost:8081");

在8081上运行架构注册表

请参阅下面的URL以获取示例代码

https://dzone.com/articles/kafka-avro-serialization-and-the-schema-registry