来自 Kafka Connect 的墓碑记录

Question

是否可以配置Kafka Connect（Source）来生成逻辑删除记录？

我有一个记录“删除”事件的表。我可以将其填充到一个主题并编写一些代码以根据需要将逻辑删除记录转发到其他主题，但如果我可以让 JDBC 源连接器为我生成逻辑删除记录，我可以跳过颂歌部分。我没有找到将 kafka 源连接中的值设置为“null”的方法。

谢谢

Answer 1

我认为，正如@Debbie建议的那样，我们将能够使用“Drop”Kafka Connect Transformation 创建墓碑记录。

这是来自 JDBC Source Connector 配置的工作代码片段：

"transforms": "dropValueAndForceOptionalSchema",
"transforms.dropValueAndForceOptionalSchema.type": "io.confluent.connect.transforms.Drop$Value",
"transforms.dropValueAndForceOptionalSchema.schema.behavior": "force_optional"

因此，配置将从消息中删除该值，并且如果该值的架构还不是可选的，则转换将强制覆盖该架构以使其变为可选。

希望对你有帮助！

谢谢。