apache-kafka-connect 相关问题

如何在 Kafka 连接中将微秒时间戳转换为毫秒？

使用 confluenceinc/kafka-connect-bigquery 从 Kafka 填充 BigQuery 时，我想使用域 (Avro) 事件的时间戳来（日）对表进行分区。 我的连接器属性...

Debezium 源连接器，向 `after` 对象添加一个字段

我正在 Kafka 中使用 Debezium PostgreSQL 源连接器进行 CDC。下面是我想要推送到 Kafka 的所需消息模式。最值得注意的是 after.source 字段。 after.source 字段...

如何使用java代码使用Kafka连接器？

目前我正在独立模式下使用 Kafka SpoolDir 连接器。将所需的配置添加到属性文件后，我使用以下命令启动连接器 kafka/bin/connect-standalone.sh 连接-

找不到任何实现Connector且名称与MySQL匹配的类

使用官方文档配置kafka connect后... 我收到一个错误，说明 kafka 连接中不存在驱动程序！ 我必须尝试将 .jar 复制到提到的目录中，...

对于具有相似数据和工作负载的主题使用两个 Kafka Connect Sink 连接器有什么优势？

我有两个 Kafka 主题（topic_A 和 topic_B），具有相同的分区（4 个分区）和相似的数据结构。两个主题都需要相同的处理工作。 目前，我正在考虑单身

Neo4j 源连接器无法构建源查询对某些字段返回 null 的架构

我正在使用 Neo4j Source Connector for Kafka (https://neo4j.com/docs/kafka/kafka-connect/source/) 来生成对 Kafka 主题的更改。我的配置如下： { “连接器.class”...

使用自定义[“org.apache.kafka.common.config.provider”]管理Vault Secret的生命周期

我的问题涉及“org.apache.kafka.common.config.provider”接口。如文档中所示： https://kafka.apache.org/35/javadoc/org/apache/kafka/common/config/provider/

Kafka Connect：获取连接器配置

我一直在用kafka connect进行测试。但对于每个连接器，我都必须去阅读连接器文档，以了解连接器所需的配置。据我读过卡夫卡

Kafka 服务器无法运行，同时不会尝试使用 SSAL 进行身份验证（未知错误）

我的卡夫卡服务器有问题。 我已经用端口2080运行apache druid，用端口2181运行zookeeper kafka，以避免破坏druid和kakfa之间的zookeeper。 我没有...

Kafka 连接提交任务失败

我正在尝试在 k8s 集群上运行 Kafka connect，我面临的问题是在提交连接器期间。我正在运行 4 个不同主题的任务，并希望将数据存储到 S3。 我创建了 4 个不同的...

Broker 可能无法在 docker compose 中将 kafka 连接器与 kafka 代理连接起来

我正在使用docker容器来构建zookeeper、kafka并连接。 版本：'2.1' 服务： 动物园管理员： 图片：debezium/zookeeper 端口： - 2181:2181 - 2888:2888 - 3888:3888

Kafka Mongo Sink 问题-Monitoring.interceptor.connector-consumer-mongo-sink 节点断开连接

关键问题： confluence.monitoring.interceptor.connector-consumer-mongo-sink-0] 节点 -1 已断开连接 Kafka 是 Confluence 7.5.3，适用于 Connect，Zookeeper 和 Mongo 是最新的 7.0。一切...

为数据库中的多个表配置 debezium 连接器

我正在尝试为 MySQL 数据库中的多个表配置 Debezium 连接器（我在 MySQL 8.0 上使用 Debezium 1.4）。 我的公司在创建主题时需要遵循一个命名模式

Spark 无法读取 AvroParquetWriter 写入的 Parquet 文件中的 DECIMAL 列

我有一些使用 AvroParquetWriter（来自 Kafka Connect S3 连接器）编写的 Parquet 文件。 文件 aseg_lat 中的一列具有架构 DECIMAL(9, 7)。 我可以很好地阅读该专栏

Debezium 中“不支持表达式求值”如何处理？

我第一次尝试使用 Debezium 连接到 Oracle。 我得到 Cannot parse column default value '"MYUSER"."ISEQ$$_475890".nextval' to type '2'。表达评估...

Kafka 依赖项 - ccs 与 ce

要开发我的 Kafka 连接器，我需要添加 connect-API 依赖项。 我应该使用哪一个？ 例如 mongodb 连接器使用来自 Maven Central 的 connect-api 但开发指南中的链接转到 http...

Kafka Connect over SSL 问题 - 无法连接代理 - 找到代理 []

Kafka 连接真的可以连接在 SSL 端口运行的代理引导服务器吗？ 如果我在 Connect 配置中更改为 PLAINTEXT://broker.local:9092 它可以工作，但容器无法使用 SSL://

Kakfa createTopics 失败

我是 Kafka 新手，我正在尝试使用命令行创建一个主题，但它给了我以下错误： C:\kafka in\windows>kafka-topics.bat --create --topictutorialspedia --boot...

使用 Ctrl+C 停止 Debezium 连接器并再次重新启动连接器后，连接器无法工作

我使用 Debezium MySQL 连接器从我的数据库捕获更改数据。以前它可以很好地工作。但是，现在，在我停止连接器并重新启动它后，连接器无法工作。我

指定 Kafka Connect 连接器插件版本

Kafka 如何处理 CLASSPATH 中提供的同一连接器插件的多个版本？例如，假设我将 mongo-kafka-1.0.0-all.jar 和 mongo-kafka-1.1.0-all.jar 放入