apache-kafka-connect 相关问题

Apache Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据的工具。 - https://kafka.apache.org/documentation.html#connect

连接器配置不包含连接器类型

我正在尝试使用 JDBC Connector 连接到集群上的 PostgreSQL 数据库(该数据库不是由集群直接管理)。 我一直在使用以下 com 来调用 Kafka Connect...

回答 2 投票 0

[spring-kafka]:创建kafka主题后编辑log.retention.bytes

我们在 Java 应用程序中使用 Debezium + spring-boot + spring-kafka。 Debezium 代码将自动创建一些 kafka 主题。是否可以使用 spring-kafka 修改这些主题的属性?...

回答 1 投票 0

从 AWS MKS 集群到 Apache Kafka 的 Kafka 镜像

我对将 AWS MKS 集群(源)中的主题镜像到 Apache Kafka 2.13 集群(目标)的架构感到困惑。 源集群还使用 AWS Glue Schema 注册表,因此我需要...

回答 1 投票 0

Kafka 连接集群属性

我对卡夫卡还很陌生,我仍在学习一些知识。我有一个带有 Kafka Connect 的 Ecs-Ec2 集群,其结构如下: ├── bitbucket-pipelines.yml ├── docker-compose.yml ├── Dockerfil...

回答 1 投票 0

aws ecs 中的 Kafka 连接集群架构

我在 ECS 服务中有一个 KAFKA CONNECT,只有一个任务。它有一个 ASG 和一个 ALB。 我知道当我使用 KAFKA CONNECT 启动 ECS 任务时,我会从 KAFKA CONNECT 生成 1 个 WORKER。在这个

回答 1 投票 0

如何正确设置启动Postgres复制的权限?

我正在尝试按照 Postgres 的 Debezium 教程并设置复制用户。我正在创建复制用户,如下所示: 使用复制登录创建角色replication_role; 创建你...

回答 2 投票 0

ACL 配置在 kafka connect 中不起作用

我有一个单节点的kafka集群,启用了acl SASL_PLAINTEXT。下面分别是我的 kakfa-connect 和 kafka 集群的配置 连接分布式属性 bootstrap.server...

回答 1 投票 0

SQL Server 数据实时传输到 Kafka

我想将实时数据从SQL Server直接添加到Kafka,我发现https://debezium.io/docs/connectors/sqlserver/提供了一个SQL Server连接器 在文档中,它...

回答 2 投票 0

kafka接收器jdbc postgres连接器中出现错误(接收器连接器配置为'delete.enabled=false'和'pk.mode=none')

使用 jdbc postgres 接收器连接器连接 Kafka 时出现以下错误。 org.apache.kafka.connect.errors.ConnectException:由于不可恢复的异常而退出 WorkerSinkTask。 在组织....

回答 1 投票 0

由于方言识别错误,kafka jdbc 连接器启动失败

我正在尝试启动kafka jdbc接收器连接器 https://www.confluence.io/hub/confluenceinc/kafka-connect-jdbc 将主题中的数据保存到 postgreSql 数据库。我正在使用以下配置 { &

回答 1 投票 0

在kafka中使用sftp csv连接器时如何将key设置为null。我需要这个来在经纪人之间以循环方式分发记录

这是我用于 csv 源连接器的配置。这将生成 key 作为“{}”的空结构。我认为这导致所有消息都累积在一个分区中。 ...

回答 1 投票 0

带有 MSSQL 的 Confluence JDBC 连接器仅传输 100 行

我有一个汇合的 JDBC 源连接器,我将其用于 MSSQL 数据库,问题是它在读取 100 行后立即抛出以下错误。我很困惑,因为我没有遇到过这个问题

回答 2 投票 0

雪花连接器“无法连接到雪花”

我正在使用 Kafka 并尝试将雪花与其连接,但它没有连接。 它给出了某种区域错误,服务器和集群应该位于同一区域,我尝试过

回答 2 投票 0

我想使用源代码启动Kafka连接器

我想使用源代码启动Kafka连接器,但总是遇到一些错误。 这是我的配置,不知道是不是我的配置方式有问题。

回答 1 投票 0

如何将 Apache Kafka Connect 与 Azure Schema 注册表集成?

我尝试使用 Confluence avro 转换器连接 Azure 架构注册表(向 avroConverter 提供架构注册表 url 和值转换器),但无法连接。 然后我在下面遇到了...

回答 1 投票 0

如何使用postgres JDBC接收器连接器流式传输到mysql连接器

周四快乐!我一直在尝试在 Debezium 中创建连接器 Postgres Connector,但只有当表已存在于我的 MySQL 实例中时,我才能捕获更改,这并不理想。

回答 2 投票 0

如何在 Kafka Connect 场景中禁用 Azure Schema 注册表上的架构自动注册?

有谁知道是否可以在 Kafka Connect 场景中设置源连接器,以便它不会自动在 Azure 架构注册表上注册架构? 我问因为我是cur...

回答 1 投票 0

避免 ORA-22922 的 JDBC 参数:不存在的 LOB 值

我正在开发一个kafka连接,它使用sql请求从数据库获取信息。 这个sql请求就像一个 选择 X,X,X, JSON_ARRAYAGG( JSON_OBJECT( 选择 X...

回答 1 投票 0

找不到任何实现 Connector 且名称与 com.mongodb.kafka.connect.MongoSinkConnector 匹配的类

我不使用confluence,只使用apache kafka,已经添加mongo插件,获取.../connector-plugins响应,列出MongoSinkConnector [ { “类”:“com.mongodb.kafka.connect。

回答 3 投票 0

ksqlDB 无法反序列化 JSON 密钥

我正在尝试使用 Kafka Connect 中的 JDBC Source 连接器将数据加载到 ksqlDB 源表中。主题键是从其中两列创建的 JSON 对象。 ksqlDB 无法反序列化...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.