Kafka Connect JDBC:它是否可以在批量模式下加载banle,但仅当表中的任何记录发生变化时?

问题描述 投票:0回答:1

当我需要加载维度表到kafka时我有情况。仅仅因为我希望通过kafka公开我的所有应用程序数据,这是所有公司部门/产品的通用方式。

但我的维度只有snaphsot是正确的,不可能以增量模式处理它们。因为Kafka Stream我添加了“batch_id”(加载操作的时间戳)。我知道这是HACK,但它对我来说很好,因为我想要只有流的事实表,它非常大,也不希望有两种不同的方式来公开数据。所以我没有abillity处理我的维度作为流与逻辑窗口“bacth_id”。

但现在我需要按时间间隔加载尺寸(ecg 30秒)。我的尺寸添加/更新/删除率非常低。一些分数不会更新为quaters。

所以我的问题是可以在某些条件下使用批量模式。例如,只有当表中的任何记录更改了列“update_datetime?是否可以混合批量+时间戳模式?

jdbc apache-kafka apache-kafka-connect confluent
1个回答
0
投票

正如@ cricket_007在他的评论中解释的那样,确实没有这样的功能。因此,解决此问题的方法是两种方式。 Writec自定义拉拔器或写自定义插件得到了kafka-conenct。我先采取工作方式。因为我使用k8s,这对于维护很多不同的服务非常舒服。并且单独的服务更好地监控。但是,如果你没有为微服务提供舒适的基础设施(包括资源协商,服务发现,auotamted ci / cd等)。我重新编写了自定义插件到kafka-connect。

© www.soinside.com 2019 - 2024. All rights reserved.