apache-kafka-connect 相关问题

Apache Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据的工具。 - https://kafka.apache.org/documentation.html#connect

Kafka使用者失败,因为错误反序列化了Avro消息的id

在我的用例中,我创建了JDBC kafka连接器,从oracle表中提取数据并成功推送到kafka主题但是当我尝试从这个kafka主题中读取消息时,我得到了......

回答 1 投票 0

Kafka connect transforms(SMT) - 帮助解决用例

我有一个用例,我想使用kafka源或接收器连接器将源表键字段映射到目标表引用字段。我是这个论坛的新手,如果我失踪,请告诉我...

回答 1 投票 0

配置Kafka Connect分布式连接器日志(connectDistributed.out)

目前正在收集两种类型的Kafka Connect日志。 connect-rest.log.2018-07-01-21,connect-rest.log.2018-07-01-22 ... connectDistributed.out事情就是我不知道怎么...

回答 1 投票 3

将消息从kafka消费者推送到mongodb

我在事件consumer.on上创建了使用'kafka-node'的kafka使用者('message'()=> {连接到mongodb并插入到集合。})用于创建连接的mongo.js文件...

回答 1 投票 0

Debezium MySQL错误:连接密码为空

我的Debezium连接器有以下docker-compose.yml配置:版本:'3.1'服务:db:image:mysql network_mode:主机环境:...

回答 2 投票 0

Kafka Connect - 无法刷新,在等待生产者刷新未完成的消息时超时

我试图在BULK模式下使用Kafka Connect JDBC Source Connector以及以下属性。 connector.class = io.confluent.connect.jdbc.JdbcSourceConnector timestamp.column.name = timestamp ...

回答 1 投票 1

Kafka Connect:java.lang.IllegalStateException:没有分区的当前分配

我在Kubernetes上运行Kafka Connect(8-16个节点,自动标量)。我已经定义了总共44个连接器,每个Kafka主题一个(每个主题一个分区)。这些话题由Debezium / ...制作

回答 1 投票 0

Solace源连接器“tasks.max”如何连接到队列?

我们正在实现一个3机器集群的Kafka主题。我们将脱离Solace队列,并想知道tasks.max参数的作用以及它如何划分消息。我们......

回答 1 投票 0

kafka_connect找不到它的连接器

我在EC2机器上的docker容器内运行了一个融合的kafka集群,如下面3个docker容器在单独的EC2实例上,用于动物园管理员和kafka-brokers 1个docker容器在...

回答 2 投票 0

如何使用Kafka JDBC Connector跟踪具有特定列值的行(按id)?

我有一个包含大量记录的表。有一列定义了记录的类型。我想收集该列中具有特定值的记录。种类:选择* FROM ...

回答 1 投票 0

在Kafka Connect中使用org.apache.kafka.connect.json.JsonConverter时出错

我正在尝试在Kafka连接中使用Json转换器,但它抛出以下错误:{“type”:“log”,“host”:“connecttest6-ckaf-connect-84866788d4-p8lkh”,“level”:“ERROR”, “NEID”:“卡夫卡连接-...

回答 1 投票 0

从MySQL到Postgres的Debezium与JDBC Sink - changeforms.route.replacement的更改给出了SinkRecordField错误

我正在使用这个debezium-examples source.json {“name”:“inventory-connector”,“config”:{“connector.class”:“io.debezium.connector.mysql.MySqlConnector”,“tasks.max”: “1”,“数据库....

回答 1 投票 0

适用于MySQL的Debezium连接器。缺少db历史记录主题

我正在使用debezium连接器从MySQL数据库捕获更改并将其移动到Kafka。我正在使用Docker。 MySQL的容器,连接器的另一个容器,Kafka的另一个容器。什么时候 ...

回答 1 投票 0

镜像Kafka主题的现有方法的主要区别是什么?

Kafka MirrorMaker是从源代码到目标代理镜像Kafka主题的基本方法。不幸的是,它不能满足我的要求,可以配置得足够多。我的要求非常简单:......

回答 1 投票 3

即使json数据包含架构和有效负载字段,kafka connect hdfs sink连接器也会失败

我正在尝试使用kafka connect hdfs sink connector将json数据从kafka移动到hdfs。即使kafka中的json数据有架构和有效负载kafka connect任务失败,错误org.apache ....

回答 1 投票 4

配置Kafka连接Postgress Debezium CDC插件

我正在尝试使用kafka connect来读取postgres DB中的更改。我在我的本地系统上运行Kafka,我想在独立模式下使用Kafka connect API来读取postgres服务器DB ...

回答 1 投票 0

Kafka Connect分离日志记录

目前,我们正在为融合的kafka connect分布式工作集群使用几个自定义connetor插件。困扰我很长一段时间的一件事是kafka connect写了所有日志......

回答 1 投票 1

将在kafka中创建的主题自动下沉到elasticsearch

我有在kafka(test1,test2,test3)中创建的主题,我想在创建时将它们弹到弹性。我尝试了topics.regex,但它只为已存在的主题创建索引。我怎么能够 ...

回答 1 投票 0

kafka connect - 如何从有效负载中过滤模式元数据

我正在尝试从有效负载中删除模式,这里是配置connector.properties name = test-source-mysql-jdbc-autoincrement connector.class = io.confluent.connect.jdbc ....

回答 1 投票 0

Kafka SMT用于ISO UTC日期时间格式的日期时间转换

是否可以将MySQL中datetime类型的列转换为源连接器中的UTC-ISO DateTime格式?输入详细信息列名:Modified_dtmStamp示例值:2018-08-03 16:...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.