Apache Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据的工具。 - https://kafka.apache.org/documentation.html#connect
在我的用例中,我创建了JDBC kafka连接器,从oracle表中提取数据并成功推送到kafka主题但是当我尝试从这个kafka主题中读取消息时,我得到了......
Kafka connect transforms(SMT) - 帮助解决用例
我有一个用例,我想使用kafka源或接收器连接器将源表键字段映射到目标表引用字段。我是这个论坛的新手,如果我失踪,请告诉我...
配置Kafka Connect分布式连接器日志(connectDistributed.out)
目前正在收集两种类型的Kafka Connect日志。 connect-rest.log.2018-07-01-21,connect-rest.log.2018-07-01-22 ... connectDistributed.out事情就是我不知道怎么...
我在事件consumer.on上创建了使用'kafka-node'的kafka使用者('message'()=> {连接到mongodb并插入到集合。})用于创建连接的mongo.js文件...
我的Debezium连接器有以下docker-compose.yml配置:版本:'3.1'服务:db:image:mysql network_mode:主机环境:...
Kafka Connect - 无法刷新,在等待生产者刷新未完成的消息时超时
我试图在BULK模式下使用Kafka Connect JDBC Source Connector以及以下属性。 connector.class = io.confluent.connect.jdbc.JdbcSourceConnector timestamp.column.name = timestamp ...
Kafka Connect:java.lang.IllegalStateException:没有分区的当前分配
我在Kubernetes上运行Kafka Connect(8-16个节点,自动标量)。我已经定义了总共44个连接器,每个Kafka主题一个(每个主题一个分区)。这些话题由Debezium / ...制作
我们正在实现一个3机器集群的Kafka主题。我们将脱离Solace队列,并想知道tasks.max参数的作用以及它如何划分消息。我们......
我在EC2机器上的docker容器内运行了一个融合的kafka集群,如下面3个docker容器在单独的EC2实例上,用于动物园管理员和kafka-brokers 1个docker容器在...
如何使用Kafka JDBC Connector跟踪具有特定列值的行(按id)?
我有一个包含大量记录的表。有一列定义了记录的类型。我想收集该列中具有特定值的记录。种类:选择* FROM ...
在Kafka Connect中使用org.apache.kafka.connect.json.JsonConverter时出错
我正在尝试在Kafka连接中使用Json转换器,但它抛出以下错误:{“type”:“log”,“host”:“connecttest6-ckaf-connect-84866788d4-p8lkh”,“level”:“ERROR”, “NEID”:“卡夫卡连接-...
从MySQL到Postgres的Debezium与JDBC Sink - changeforms.route.replacement的更改给出了SinkRecordField错误
我正在使用这个debezium-examples source.json {“name”:“inventory-connector”,“config”:{“connector.class”:“io.debezium.connector.mysql.MySqlConnector”,“tasks.max”: “1”,“数据库....
适用于MySQL的Debezium连接器。缺少db历史记录主题
我正在使用debezium连接器从MySQL数据库捕获更改并将其移动到Kafka。我正在使用Docker。 MySQL的容器,连接器的另一个容器,Kafka的另一个容器。什么时候 ...
Kafka MirrorMaker是从源代码到目标代理镜像Kafka主题的基本方法。不幸的是,它不能满足我的要求,可以配置得足够多。我的要求非常简单:......
即使json数据包含架构和有效负载字段,kafka connect hdfs sink连接器也会失败
我正在尝试使用kafka connect hdfs sink connector将json数据从kafka移动到hdfs。即使kafka中的json数据有架构和有效负载kafka connect任务失败,错误org.apache ....
配置Kafka连接Postgress Debezium CDC插件
我正在尝试使用kafka connect来读取postgres DB中的更改。我在我的本地系统上运行Kafka,我想在独立模式下使用Kafka connect API来读取postgres服务器DB ...
目前,我们正在为融合的kafka connect分布式工作集群使用几个自定义connetor插件。困扰我很长一段时间的一件事是kafka connect写了所有日志......
将在kafka中创建的主题自动下沉到elasticsearch
我有在kafka(test1,test2,test3)中创建的主题,我想在创建时将它们弹到弹性。我尝试了topics.regex,但它只为已存在的主题创建索引。我怎么能够 ...
kafka connect - 如何从有效负载中过滤模式元数据
我正在尝试从有效负载中删除模式,这里是配置connector.properties name = test-source-mysql-jdbc-autoincrement connector.class = io.confluent.connect.jdbc ....
Kafka SMT用于ISO UTC日期时间格式的日期时间转换
是否可以将MySQL中datetime类型的列转换为源连接器中的UTC-ISO DateTime格式?输入详细信息列名:Modified_dtmStamp示例值:2018-08-03 16:...