从kafka主题中插入消费数据到SQL数据库

Question

我们正在做一个项目来使用来自kafka主题的数据并将其插入到SQL数据库中。 让我感到困惑的是 Apache Kafka 没有 SQL 数据库的连接器，另一个选择是使用 Confluent Kafka。

所以请让我知道正确的方式，以便从我这边进行货代

Answer 1

“Confluent Kafka”不是东西； Confluent，公司，为 Kafka Connect 编写插件，可在 Apache Kafka 的any 发行版中使用，例如 Confluent Platform。

例如，IBM 和 Aiven 都维护 JDBC Kafka Connect sink 插件，除了 Confluent。

Kafka Connect 自带的唯一插件是本地文件系统文件和 MirrorMaker2。

confluent-hub

CLI 无需 Confluent Platform 即可安装此类插件。

或者，您可以使用 Spark、Flink、NiFi 等在没有 Kafka Connect 的情况下写入数据库，或者使用某些数据库的内置 Kafka 摄取功能，例如 Pinot、Couchbase、Clickhouse，例如。