Apache Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据的工具。 - https://kafka.apache.org/documentation.html#connect
我正在尝试使用 JDBC Connector 连接到集群上的 PostgreSQL 数据库(该数据库不是由集群直接管理)。 我一直在使用以下 com 来调用 Kafka Connect...
[spring-kafka]:创建kafka主题后编辑log.retention.bytes
我们在 Java 应用程序中使用 Debezium + spring-boot + spring-kafka。 Debezium 代码将自动创建一些 kafka 主题。是否可以使用 spring-kafka 修改这些主题的属性?...
从 AWS MKS 集群到 Apache Kafka 的 Kafka 镜像
我对将 AWS MKS 集群(源)中的主题镜像到 Apache Kafka 2.13 集群(目标)的架构感到困惑。 源集群还使用 AWS Glue Schema 注册表,因此我需要...
我对卡夫卡还很陌生,我仍在学习一些知识。我有一个带有 Kafka Connect 的 Ecs-Ec2 集群,其结构如下: ├── bitbucket-pipelines.yml ├── docker-compose.yml ├── Dockerfil...
我在 ECS 服务中有一个 KAFKA CONNECT,只有一个任务。它有一个 ASG 和一个 ALB。 我知道当我使用 KAFKA CONNECT 启动 ECS 任务时,我会从 KAFKA CONNECT 生成 1 个 WORKER。在这个
我正在尝试按照 Postgres 的 Debezium 教程并设置复制用户。我正在创建复制用户,如下所示: 使用复制登录创建角色replication_role; 创建你...
我有一个单节点的kafka集群,启用了acl SASL_PLAINTEXT。下面分别是我的 kakfa-connect 和 kafka 集群的配置 连接分布式属性 bootstrap.server...
我想将实时数据从SQL Server直接添加到Kafka,我发现https://debezium.io/docs/connectors/sqlserver/提供了一个SQL Server连接器 在文档中,它...
kafka接收器jdbc postgres连接器中出现错误(接收器连接器配置为'delete.enabled=false'和'pk.mode=none')
使用 jdbc postgres 接收器连接器连接 Kafka 时出现以下错误。 org.apache.kafka.connect.errors.ConnectException:由于不可恢复的异常而退出 WorkerSinkTask。 在组织....
我正在尝试启动kafka jdbc接收器连接器 https://www.confluence.io/hub/confluenceinc/kafka-connect-jdbc 将主题中的数据保存到 postgreSql 数据库。我正在使用以下配置 { &
在kafka中使用sftp csv连接器时如何将key设置为null。我需要这个来在经纪人之间以循环方式分发记录
这是我用于 csv 源连接器的配置。这将生成 key 作为“{}”的空结构。我认为这导致所有消息都累积在一个分区中。 ...
带有 MSSQL 的 Confluence JDBC 连接器仅传输 100 行
我有一个汇合的 JDBC 源连接器,我将其用于 MSSQL 数据库,问题是它在读取 100 行后立即抛出以下错误。我很困惑,因为我没有遇到过这个问题
我正在使用 Kafka 并尝试将雪花与其连接,但它没有连接。 它给出了某种区域错误,服务器和集群应该位于同一区域,我尝试过
我想使用源代码启动Kafka连接器,但总是遇到一些错误。 这是我的配置,不知道是不是我的配置方式有问题。
如何将 Apache Kafka Connect 与 Azure Schema 注册表集成?
我尝试使用 Confluence avro 转换器连接 Azure 架构注册表(向 avroConverter 提供架构注册表 url 和值转换器),但无法连接。 然后我在下面遇到了...
如何使用postgres JDBC接收器连接器流式传输到mysql连接器
周四快乐!我一直在尝试在 Debezium 中创建连接器 Postgres Connector,但只有当表已存在于我的 MySQL 实例中时,我才能捕获更改,这并不理想。
如何在 Kafka Connect 场景中禁用 Azure Schema 注册表上的架构自动注册?
有谁知道是否可以在 Kafka Connect 场景中设置源连接器,以便它不会自动在 Azure 架构注册表上注册架构? 我问因为我是cur...
避免 ORA-22922 的 JDBC 参数:不存在的 LOB 值
我正在开发一个kafka连接,它使用sql请求从数据库获取信息。 这个sql请求就像一个 选择 X,X,X, JSON_ARRAYAGG( JSON_OBJECT( 选择 X...
找不到任何实现 Connector 且名称与 com.mongodb.kafka.connect.MongoSinkConnector 匹配的类
我不使用confluence,只使用apache kafka,已经添加mongo插件,获取.../connector-plugins响应,列出MongoSinkConnector [ { “类”:“com.mongodb.kafka.connect。
我正在尝试使用 Kafka Connect 中的 JDBC Source 连接器将数据加载到 ksqlDB 源表中。主题键是从其中两列创建的 JSON 对象。 ksqlDB 无法反序列化...