apache-kafka-connect 相关问题

Kafka Connect：2 个数据库之间的双向复制

我的团队需要在 2 个（甚至更多，但现在我们还是使用 2 个）数据库（PostgreSQL 免费版）之间实现某种复制。我们决定尝试 Kafka Connect 与 Debezium Postgr...

AWS MSK Connect MirrorMaker2 - 刷新失败

在 MSK Connect (2.7.1) 上使用 MirrorMaker2，源连接器抛出以下错误： [Worker-0d8c5a576b5ef6e99] [2023-12-22 16:01:00,771] 错误 [msk-dev-conv-mm2-sourceconnector|task-1|o...

使用flink-sql，如何创建一个使用通配符/正则表达式从多个主题读取的表

我在 flink-sql 应用程序中创建了 2 个具有完全相同结构的表..可以说 创建表 t1_g1 （ `id` INT, `名称` 字符串 ） WITH ('连接器' = '卡夫卡', '托皮...

Avien OpenSearch Sink Connector：引发版本冲突

我们正在使用 Avien OpenSearch Kafka Sink 连接器将文档从 Kafka Topic 移动到 OpenSearch。但已经多次看到下面的版本冲突消息（20-30/10 分钟）。 [2023-12...

Kafka-MongoDB 源和接收器连接器

我创建了一个 3 VM Kafka 集群，并在每个 VM 上安装了 mongoDB。另外，运行 kafka-mongoDB 连接器。 我在第一个虚拟机上的源连接器配置是： { “名称”：“来源1”， ...

kafkamirrormaker2消费群体在哪里

我已将镜像制造商 2 源连接器添加到我的连接集群中： { “名称”：“测试镜像”， “配置”：{ “连接器.class”：“org.apache.kafka。

从转换器代码获取连接器名称

我正在为 Kafka Connect 编写一个自定义转换器。如何从转换器代码中获取连接器名称？

Strimzi KafkaConnect 和连接器错误，无法加载

我不知道还能去哪里，因为我看到的所有例子我都复制了很多，但仍然无法让它工作。连接器将不会安装并显示空密码。我已经验证了每个...

Kafka Connect：两个 Sink 和两个 Source 连接器读/写同一主题，导致循环问题？

我们有一个本地（不同位置）和atlas mongo db，我们希望在这些数据库之间进行双向数据同步。它似乎有效，但我们正在尝试预测任何无限循环情况......

如何持久保存Kafka Connect配置文件？

我遇到了 Kafka Connect 的问题。我使用HTTP创建配置文件，但是重启后，这些配置文件丢失了。我怎样才能让这些配置文件持久化...

Kafka Connect 在哪里存储配置

当我在 Kafka Connect 中创建源连接器或接收器连接器时，它在哪里保存与该连接器相关的设置？有我可以浏览的文件吗？我们计划创建 50 多个连接器，其中一个

Kafka Connect 许可证主题的复制因子

我正在尝试使用 docker-compose 在本地运行 Kafka-Connect。尽管我很喜欢 Confluence 产品和 Kafka，但有时传递一些配置或找到一个一致的示例是一项巨大的任务。 在我的码头工人-

动态地将同一事件路由到多个kafka主题

我有一个要求，我必须根据某些条件评估将kafka流路由到多个主题。我遇到了TopicNameExtractor接口，但它只支持单个主题。是吗...

Kafka-Connect 部署的奇特选择

我目前拥有一个 Kafka-Connect 集群，由部署在 2 个 EC2 实例上的两个工作线程组成。我通过依赖 kafka-connect API 的客户端层创建连接器 - 我还对它们进行版本控制...

Kafka 连接插件

正如您在下面的 docker-compose.yaml 文件中看到的，我已经配置了 kafka-connect debezium。您可以看到字段吗？ : CONNECT_PLUGINS_DIR 和 CONNECT_PLUGIN_PATH 为空。因此我们将...

无法使用 GPKAFKA 在 GreenPlum 中插入数据

我在使用 GPKAFKA 从 KAFKA 读取数据并将数据插入 GreenPlum 数据库时遇到问题。我的目标表有多个不同数据类型的列和外部表...

Kafka Connect FileStreamSink 连接器删除 JSON 消息的引号并将冒号更改为等号

总结 当我与控制台制作人一起传输此内容时 {"id":1337,"status":"example_topic_1 成功"} 我从我的文件流消费者那里得到这个 /data/example_topic_1.txt {id=1337，状态=

有没有办法使用具有多个分区的主题作为config.storage.topic？

我们有 3 个主题，分别是配置、偏移量和状态。所有 3 个都具有相同的属性。所有分区都为 3。因此，当我尝试部署分布式连接器工作线程时，我得到 “连接器配置”

有没有办法在 Kafka Connect 中不编写自定义 SMT 的情况下按固定数字增加特定字段？

假设我有一个如下所示的表“student”，并使用 Debezium MySQL 源连接器和 JDBC 接收器连接器。 ID 班级号 姓名 年龄 1 1 '爱丽丝' 15 2 1 '鲍勃' 16 3 2 “查理” 15 当我...

kafka http 接收器连接器：请求延迟

我有一个在 kubernetes 中运行的 http 接收器连接器。它向休息服务提出请求。消耗并发送到该主题的消息量似乎很低。连接器是否有任何指标