apache-kafka-connect 相关问题

运行Python代码的Kafka连接插件

我没有java语言经验，但我想使用Kafka Connect进行集成。我正在寻找使用 kafka connect 插件包装 python 代码并在 kafka connect 中使用它的解决方案

集群迁移时，迁移后的kafka消费者重新分区后表现如何？

我对消费者的行为有一些概念上的怀疑。 集群迁移提供了很好的机会，可以对当前集群中过度分区或分区不足的主题进行重新分区...

在融合的 kafka 连接容器中配置 debezium 基于内容的路由

我使用kafka connect将数据库从postgres db复制到mongo db。我按照文档配置基于内容的路由。当我调用 api 将源连接器注册到 kafka 连接时，它会抛出异常...

无法使用 JDBC kafka-sink-connector 将 kafka 主题数据写入 postgres 数据库

我有一个 kafka 主题，我们在其中生成 avro 记录，其模式如下所示。 { “类型”：“记录”， “名称”：“测试值”， “命名空间”：&

基于案例类和模式创建 Kafka Struct

我有很多案例类/模型，我需要为其自动创建 Kafka 结构。我有下面的代码可以手动实现此目的，但我必须对所有可以具有

设置Kafka的保留期限

我正在尝试将kafka主题的保留期设置为1000毫秒，以删除其上不需要的消息。 我用过 bin/kafka-configs.sh --zookeeper my-zookeeper:2181 --alter --实体类型主题 --

Kafka Connect 集群无限工作人员在启动时重新平衡

我已经成功部署了一个独立的 Connect Worker，现在我想将其扩展到部署在本地网络上三台不同机器上的三个工作线程，假设它们的主机名是

MongoDB Sink 连接器的动态写入策略

有没有办法动态选择MongoDB接收器连接器的WriteStrategy？ 手头的用例 - 使用 mongodb 接收器连接器从主题中读取内容并写入 mongo atlas，顺序...

Kafka 连接器任务永久保持未分配状态

我有一个带有超过 500 个连接器（自定义）的 kafka 连接集群。有时，一部分任务会进入“未分配”状态（> 50）并停留在那里。在什么条件下会发生这种情况...

获取相关 ID 为 32 的元数据时出错

我正在使用 s3 源连接器，我正在尝试将数据从 s3 导入到自动创建的主题。我正在使用 aws msk 集群。 [Worker-001d22b042f681d7a] [2023-10-21 17:49:44,127] 警告 [源连接器|任务...

使用 Kafka Connect 通过动态负载从 API 中提取数据

我有一个 API，它根据输入负载提供数据，其中包括国家/地区和周数。我的目标是从此 API 检索数据并将其发布到 Kafka 主题。虽然我明白...

filestreamsink 连接器中每天的文件分区

我需要使用filestreamsink连接器中的文件分区。但我尝试使用下面提到的时间戳。但我不明白。请纠正我的实施或建议替代方法

Kafka JDBC DB 同步 - 未来最新更新

我正在评估使用Kafka同步我们公司项目的本地和云数据库，并得到了一个奇怪的效果，新数据在读取后仅2小时就通过jdbc数据源获取到主题...

找不到任何实现连接器且名称与 FileStreamSource 匹配的类

我遵循 Kafka 快速入门指南。不过，我被困在第 6 步，将数据作为事件流导入/导出... https://kafka.apache.org/documentation/ 错误表明Kafka无法fin...

将jar文件添加到confluence connect CRD类型中

我正在尝试使用来自 kubernetes AKS 集群中运行的 Confluence 平台的 JDBC 连接器。 我可以创建连接器，但遇到此错误： 没有找到适合 jdbc 的驱动：mariadb://maria-db-

使用 Kafka Connect 生成整数 (INT32) 键

我不知道我是否在这里白费力气，并试图做一些完全毫无意义的事情，但我想我还是会问，因为我已经花了足够长的时间把头撞到一个砖瓦...

为什么 kafka-connect 重新发送此配置更改的所有消息？

我们使用 Kakfa 连接 JdbcSourceConnector 从 PostgreSQL 中的简单发件箱表中获取事件，然后将它们推送到 Kafka。连接器先前配置如下： “我……

如何使用 UpdateOneTimestamps writemodel 策略增加字段

我想不断更新文档的名为 value 的字段 {'_id': 'count', 'value':0} 按某个数字。 我的 MongoSinkConnector 有 document.id.strategy=com.mongodb.kafka.connect.sink.processor...

Kafka 连接器 mongoDB 源的工作示例？

我无法让它发挥作用。 这是我的 json 配置： { “名称”：“lastlook-mongodb-源连接器”， “配置”：{ "connector.class": "com.mongodb.kafka.

kafka-connect JDBC PostgreSQL Sink Connector 显式定义 PostgrSQL 架构（命名空间）

我正在使用 JDBC 接收器连接器将数据写入 postgresql。 连接器工作正常，但似乎连接器只能将数据写入名为 public 的默认 postgresql 模式 这是c...