apache-kafka-connect 相关问题

使用 MongoDB Kafka Sink Connector 过滤和转换消息？

我对 Kafka 和 MongoDB 都很陌生，但我有一个现有的 Kafka 主题，我想将其消费到 Mongo 数据库中。我试图避免构建自己的消费者或连接器，而是使用...

如何从本地主机连接 ec2 kafka 代理

我无法从本地计算机、在 ec2 实例上运行的 kafka 和 Zookeeper 连接 kafka brocker， 我们允许 ufw 和入站规则，我可以访问除 kakfa 之外的其他端口

我可以根据内容使用 Mongo Sink Connector 忽略整个消息吗？

我对 Kafka 和 MongoDB 都很陌生，但我有一个现有的 Kafka 主题，我想将其消费到 Mongo 数据库中。我试图避免构建自己的消费者或连接器，而是使用...

运行弹性搜索接收器连接器时，收到警告遇到非法文档错误 - >响应状态：'BAD_REQUEST'

我尝试使用elasticsearch接收器连接器将汇合审核日志捕获到elasticsearch 就我而言， 我为 kafka connect 创建了一个 docker-compose 文件，然后附加弹性接收器连接器 c...

Elasticsearch _版本字段

文档表明 _version 字段是每个文档的，并且每次更新文档时都会增加 1。在我的 ES 中查询数据后，我发现 _version 字段对于整个索引来说是全局的。 (

MirrorMaker 2 - 事件中心连接在身份验证期间终止

目标 我们正在尝试使用 MirrorMaker 2 将源 Kafka（开源变体）上的主题镜像到 Azure 事件中心。我已经查看了 Kafka 和事件中心的文档。镜子制造者...

Kafka：使消费者组不活跃

我正在运行一个数据管道，以便 我通过jdbc connect将sql db中的数据读入kafka主题 我使用ES的kafka接收器连接器将这些数据接收到Elasticsearch中 我需要重置这个

Kafka Connect“ExtractField$Key”SMT 导致“未知字段”错误

我设置了 Debezium 连接器（在 ksqlDB 服务器上运行），它将值从 SQL Server CDC 表流式传输到 Kafka 主题。我正在尝试将消息的密钥从 JSON 转换为 Integer

在 Docker/ECS 上运行带有 S3 Sink 的 Kafka Connect 不会生成 S3

我正在尝试在弹性容器服务上运行带有 s3 接收器的 Kafka Connect（从 Kafka 读取并写入 S3）。 Dockerfile 来自 confluenceinc/cp-kafka-connect-base:最新 WORKDIR /etc/kafka-connect 复制

KRaft模式下的Kafka不断询问Zookeeper

我有这个 docker-compose 配置： 卡夫卡： 图片：confluenceinc/cp-kafka：最新 容器名称：'virl-kafka' 重新启动：始终 端口： - “9092:9092” 环境...

对于 Kafka mongo 接收器连接器，我想映射现有的相同对象 ID

我正在使用 mongodb 的 kafka 接收器连接器。这里我想将一些json文档从kafka主题推送到mongodb，但是我在文档中使用$oid时遇到错误。 下面是错误： {“名字...

Debezium 连接器将 kafka 密钥作为 avro 插入？

我正在寻找一个 debezium mysql 连接器，将 CDC 记录流式传输到 kafka，其中键为字符串（不是 avro 键），值作为 avro 记录。默认情况下，它会将密钥作为 avro 记录。有什么建议吗？

使用kafka connect时hdfs中没有avro数据

我正在使用kafka connect发行版。 命令是：bin/connect-distributed etc/schema-registry/connect-avro-distributed.properties 工作人员配置为： bootstrap.servers=kafka1:...

在 Apache Airflow 中设置 Kafka 连接时出错 - “必须提供 config['bootstrap.servers']”

我在尝试在 Apache Airflow 中建立与 Apache Kafka 的连接时遇到错误。我收到的具体错误消息是“必须提供 config['bootstrap.servers']”。绝望...

debezium 日期/时间字段值超出范围：0000-12-30T00:00:00Z

我们使用 Debezium 将数据同步到 在源表中我们有列timestamptz start_at，当值为0时start_at='0001-01-01 00:00:00.000000 +00:00'，但是当我们检查kafka中的数据时，它是

使用kafka密钥的kafka s3连接器分区

如何使用 kafka msg key 作为 s3 连接器中的分区标准或 我怎样才能获得密钥并将其存储在 s3 对象中 谢谢！

Kafka Connect S3 Sink 添加元数据

我正在尝试将元数据添加到 kafka 的输出到 S3 存储桶中。 目前，输出只是来自 kafka 主题的消息的值。 我想用下面的东西把它包起来......

Camel Kafka接收器连接器配置和依赖项

我正在尝试使用“camel-azure-storage-datalake-kafka-connector”从 Kafka 连接到 Azure ADLS Gen2 我有一个运行 Docker 的 Linux 机器，其中包含 debezium/zookeeper、debezium/kafka 和 debe...

如何设置接收器 JDBC 连接器的目标表名称？

我有一个 JDBC 接收器连接器从 Postgres 源连接器检索数据，我需要将数据从我的“parametros”源表复制到我的“parametros_sistema”目标表...

覆盖 kafka-connect 连接器中的 schemas.enable

我有一个分布式 Kafka Connect (6.x) 集群，安装了多个连接器。键和值转换器设置为 org.apache.kafka.connect.json.JsonConverter。对于其中一个连接器（S...