Kafka connect:基于模式将单个主题接收到多个表

问题描述 投票:0回答:1

我是Kafka connect的新手。我有一个如下用例:

  1. 有一个共享主题,我在其中获取不同实体的消息,比如Employee,department(实际表名不同)
  2. 员工和部门的模式在模式注册表中注册

使用Kafka接收器连接器,是否可以根据模式分离为每个实体而来的数据并写入相应的表示例,来到主题的员工数据应该转到员工表和部门数据到部门表

如果没有,还有其他更好的方法吗?

apache-kafka apache-kafka-connect confluent
1个回答
0
投票

连接器一次只能配置为一个表。

因此,除了将"entityType"这样的字段添加到数据本身,并在数据库层中对其进行过滤之外,我相信管理这个的唯一方法是将Kafka Streams(或KSQL)用于filter()两种可能的数据类型,然后发送给他们to()另一个话题,你有Connect运行和听两个主题,写入他们各自的表。

© www.soinside.com 2019 - 2024. All rights reserved.