Apache Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据的工具。 - https://kafka.apache.org/documentation.html#connect
Kafka+postgresdatabase+debezium 不会自动创建主题
我正在尝试使用 debezium 将 kafka 与 postgres 数据库连接起来,但主题不会自动创建,请记住我在日志中没有收到任何错误,我应该检查什么?
Kafka JDBC Source Connector 在哪里存储最后读取的 DB 行?
我试图在实现方面弄清楚 Kafka Connect JDBC 源连接器如何跟踪它读取和发布的最后一个数据库行。我找到了这个页面,它在第二段中有详细说明......
我们正在使用 kafka connect JDBC 连接器使用 jdbcsource 连接器从 oracle DB 中的表中获取数据,并使用 jdbc sink 连接器通过主题将其上传到 postgres DB 中的目标表。
我们正在开展一个项目,以使用来自 kafka 主题的数据并将其插入 SQL 数据库。 让我感到困惑的是 Apache Kafka 没有用于 SQL 数据库的连接器,而另一个选择...
Kafka connect oracle-cdc 为每个主题自动生成具有相同名称“ConnectDefault”的模式。可以按主题定制吗?
我正在使用 Kafka Connect 和 oracle cdc (https://docs.confluent.io/kafka-connectors/oracle-cdc/current/overview.html) 源连接器在一些数据库表上做 CDC。它根据...创建一个主题
confluent Bigquery connector v2.5不分配分区是什么原因?
我从合流的 Bigquery sink 连接器 v2.5 中得到以下错误: 警告 [debezium-connector-bigquery|task-0] WorkerSinkTask{id=debezium-connector-bigquery-0} 忽略无效任务 亲...
我有一个添加了自定义转换器插件的 kafka 连接器,它符合以下条件: 从转换中获取配置定义时出错 这是我的连接器配置: api版本:kafka.strimzi.io/v1beta2
Debezium Postgres 保留 wal 大小随 select 语句增加
我们正在为 PostgreSQL 使用 Debezium 连接器,Debezium 版本 1.3 和 PostgreSQL 10.2,带有 pgoutput 插件。在 PostgreSQL 上进行选择时,我们遇到了一个特殊的问题,它返回 l...
我正在尝试通过 Redpanda 控制台访问由 Strimzi 创建的 Kafka Connect。 我通过以下方式安装了 Kafka Connect kubectl 应用 --filename=hm-kafka-iot-kafka-connect.yaml hm-kafka-iot-kafka-connect...
如何正确使用 Spark -> Kafka -> JDBC sink connector with Avro?
我有一个简单的 Spark 应用程序生成 Kafka 消息 导入 org.apache.spark.sql.SparkSession 导入 org.apache.spark.sql.functions.{col, struct} 导入 org.apache.spark.sql.avro.functions.to_avro
如何在 Strimzi 创建的 Kafka Connect 中使用 io.apicurio.registry.utils.converter.AvroConverter?
我有一个 Kafka 集群,由 Strimzi 和 Apicurio Registry 部署,用于 Kafka 模式注册表。 我希望在 JDBC 接收连接器中使用 AvroConverter 将数据从 Kafka 接收到 TimescaleDB。 这里...
如何正确使用 Spark -> Kafka -> JDBC sink connector with Avro?
我有一个简单的 Spark 应用程序生成 Kafka 消息 导入 org.apache.spark.sql.SparkSession 导入 org.apache.spark.sql.functions.{col, struct} 导入 org.apache.spark.sql.avro.functions.to_avro
JDBC sink connector如何找到对应的AVRO schema?
我在 Apicurio Registry 有一个 AVRO 模式。 我正在尝试使用 Apicurio Registry 的 Confluent 兼容 REST API 端点。当前使用 Content ID 6 检索 curl --location 'http://apicurio-
JDBC sink connector如何找到对应的AVRO schema?
我在 Apicurio Registry 有一个 AVRO 模式。 我正在尝试使用 Apicurio Registry 的 Confluent 兼容 REST API 端点。当前使用 Content ID 6 检索 curl --location 'http://apicurio-
java.lang.ClassNotFoundException:Kafka 连接中的 io.apicurio.registry.serde.avro.AvroKafkaSerializer
我有一个 Kafka 集群,由 Strimzi 和 Apicurio Registry 部署,用于 Kafka 模式注册表。 我希望在 JDBC 接收连接器中使用 AvroConverter 将数据从 Kafka 接收到 TimescaleDB。 这里...
Kafka Connect FilePulse 在 CSV 文件列上应用过滤并加载到 Kafka 主题中
我正在使用 FilePulse 连接器将 CSV 文件内容加载到 Kafka 主题中,并且工作正常。我的 CSV 文件内容示例如下; `reference_key,service_type,event_timestamp,cell_id,sit...
我想运行一个本地 Kafka Connect (KC) 集群,它将运行多个不同的“源”和“接收器”连接器。目前在测试配置中,我缩放了 KC 集群...
Kafka 连接 Debezium Mongo 源连接器无法连接到 MongoDb 实例
以下命令用于在Docker中设置Zookeeper、Kafka、Schema-registry、Kafka-connect和MongoDb。 Kakfa-connect 集群似乎没有连接到 MongoDb,它一直在
Kafka:无法使用 MySQL 连接器 Kafka 中的 where 子句运行查询
JSON 文件: { “名称”:“mysql-jdbc”, “配置”:{ “connector.class”:“io.confluent.connect.jdbc.JdbcSourceConnector”, “连接。你...
Apache Ignite Kafka Streamer 不工作,获取 java.lang.NoClassDefFoundError:无法初始化类
遵循此处提到的说明: https://ignite.apache.org/docs/latest/extensions-and-integrations/streaming/kafka-streamer 但仍然出现以下错误: WorkerSinkTask{id=my-ignite...