apache-kafka-connect 相关问题

删除“table.include.list”不会强制 Debezium 为数据库中的其余表创建主题

我创建了 Debezium 连接器，它的工作原理就像一个魅力： { “名称”：“debezium_title”， “配置”：{ "connector.class": "io.debezium.connector...

如何更改“kafka connect”组件端口？

在端口 8083 上，我正在运行 Influxdb，我什至可以在 http://localhost:8083 上获取 GUI 现在来到kafka，这里我指的是按照https://kafka.apache.org/quickstart进行的设置 开始...

Debezium 无法对大表大小进行快照

我想我可能错过了一些配置，但我们正在尝试使用 Debezium 来快照具有大约 800 万条记录的表中的所有行，并在一段时间后停止。 连接器

Kafka Connect：读取 JSON 序列化的 Kafka 消息，转换为 Parquet 格式并保存在 S3 中

我需要从 Kafka 主题读取 JSON 序列化消息，将它们转换为 Parquet 并保留在 S3 中。 背景 官方 S3-Sink-Connector 支持 Parquet 输出格式，但是： 你

如何告诉 debezuim Mysql 源连接器停止重新拍摄 kafka 主题中现有表的快照？

我正在使用 Debezium MySQL CDC 源连接器将数据库从 mysql 移动到 Kafka。连接器工作正常，除了快照表现得很奇怪；连接器占据了第一个

Debezium 很慢，如何改进？

Debezium 的第一次用户，我在 Debezium 中每分钟仅收到大约 1000 条消息（与在线基准相比，这非常慢）。 Kafka 连接/ MySQL/ Kafka Broker 上没有节流，不确定...

如何将kafka消息转换为不同的json格式

我有一条在源头创建并放入主题的 debezium 消息 { “架构”：{ “类型”：“结构”， “字段”：[ ...

如何使用 Kafka Connect 从 S3 存储桶获取 .csv 文件？

据我了解，S3源连接器仅适用于使用S3接收器连接器上传的对象。我还知道有一个 spooldir 连接器可以从本地目录读取 .csv 文件。 布...

使用 JDBC 源连接器将嵌套 JSON 从 Snowflake 流式传输到 Kafka

我正在尝试设置一个数据管道，其中来自 Snowflake 的 SQL 查询结果（使用 OBJECT_CONSTRUCT 函数构造为嵌套 JSON）流式传输到 Kafka 主题。我想我们实现这个...

Kafka Connect Sink JsonConverter DataException：由于序列化错误，将 byte[] 转换为 Kafka Connect 数据失败

为一个项目创建了一个 Apache Kafka 集群（目前有 3 个代理、3 个控制器、1 个工作线程），并且有多个主题从第三方接收数据。工作人员正在利用融合的弹性...

基于查询的 JDBC 源连接器 Kafka

我有一个遗留数据库，它的主键列是字符串（是的，我知道）。我想使用 JDBC kafka Source Connecto 从 postgres DB 到 kafka 主题进行增量转储模式...

Kafka createTopics 失败

我是 Kafka 新手，我正在尝试使用命令行创建一个主题，但出现以下错误： C:\kafka in\windows>kafka-topics.bat --create --topictutorialspedia --boot...

Strimzi 将容器加载到 aws ecr - 检查推送权限时出错

我通过 Strimzi 运算符在 Kubernetes 上运行 Apache Kafka。 我正在尝试使用 mysql debezium 连接器安装 Kafka Connect。 这是连接器配置文件： api版本：kafka.strimzi...

kafka connect 不加载连接器

我正在使用以下 dockerfile 在我的 kafka-connect 映像中加载 mysql 连接器。 来自 eclipse-temurin 运行 mkdir -p /opt/kafka/bin /opt/kafka/libs /opt/kafka/config /opt/kafka/logs 复制./kafk...

如何在从 kafka-snowflake 接收器连接器连接时禁用雪花 OCSP 验证

我们正在尝试使用接收器连接器将数据从kafka主题推送到雪花。但我们无法创建连接器并看到以下警告 严重：警告！！！使用故障打开进行连接。

Kafka 源连接器编码问题 | Oracle JDBC 连接器

我正在尝试使用 Kafka connect JDBC 连接器连接到 Oracle 服务器，这是我的连接器配置： 创建源连接器 hsr_source_connector2 和 （ 'connection.url' = 'jdbc:oracle:thin:@//

如何在连接器级别设置转换器属性？

我需要使用以下属性： value.converter.ignore.default.for.nullables=true 在我的设置中，正如此处提到的那样。 当我将其设置为环境变量时，一切正常：

Jdbc.sink.error 发生意外错误：java.lang.NoClassDefFoundError：无法初始化类 io.confluence.connect.jdbc.sink.JdbcSinkConfig

Confluence 平台添加接收器连接器图像 尝试在汇合平台中添加接收器连接器会给我错误 手动安装连接器 -- confluence-hub install confluenceinc/kafka-connect-jdbc...

表白名单选项的 Confluence JDBC 源连接器问题

我们正在使用 Confluence Kafka JDBC 源连接器从 AWS RDS（Oracle db）获取数据。该连接器适用于 select * from 表名称，但不适用于表白名单选项。它是

Strimzi / Kafka Connect 找不到我的插件

我正在使用 Strimzi、Kafka、Kafka Connect 和自定义连接器插件，遵循此文档。 部署工作正常，Kafka Connect 正在工作，我可以使用它的 RESTFUL API。 但连接器不是