Apache Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据的工具。 - https://kafka.apache.org/documentation.html#connect
Debezium MySQL 连接器错误:遇到此连接器不知道其架构的表的更改事件
我创建了一个 Debezium 连接器来通过此配置从 Mysql 侦听 binlog 事件: { "connector.class": "io.debezium.connector.mysql.MySqlConnector", “topic.creation.d ...
为jdbc sink连接器提取和转换kafka消息的特定字段。
我有一个kafka主题,使用Debezium mysql源连接器从mysql数据库获取数据,以下是其中一条消息的格式。{ "Message": { "schema": { ...
Kafka Connect和Kafka Streams提交间隔之间有关系吗?
假设我们有一个Kafka Sink Connector从一个TopicA主题中填充数据库,一个Kafka Stream App推送更新到TopicA主题。我想知道如果。数据更新到...
Confluent Kafka Connect MQTT Source和Sink连接器的开源替代方案[封闭式]
我想通过mqtt broker连接到Apache Kafka(非企业版,没有使用Confluent kafka管理服务)。我使用Confluent的Kafka Connect MQTT源和汇,但我意识到它 ...
当使用Kafka Connect S3 Sink时,从S3路径中删除主题名称。
使用https:/docs.confluent.iocurrentconnectkafka-connect-s3index.html 我如何设置连接器,使Kafka主题名称不包含在输出的S3路径中?我正在使用...
如何在后台运行Kafka Connect connect-distributed.sh(守护进程)?
我通过ssh连接到远程主机,然后运行.connect-distributed ...etckafkacusom-connect-distr.properties,现在终端无法输入。我试过-daemon选项,但它没有做 ...
我知道有一些转换动作可以用来掩盖字段的值,例如MaskField。我有一个需求,我需要做有条件的屏蔽,即只有当同一个字段有一个特定的值时,才将值设置为NULL。
我知道有一些转换动作可以用来掩盖字段的值,例如MaskField。我有一个需求,我需要做有条件的屏蔽,即只有当同一个字段有一个特定的值时,才将值设置为NULL。
Kafka connect confluent jdbc不控制MSSQL数据库中的会话池。
我正在使用Kafka connect和confluent jdbc。集成一个源连接器与Mssql和前几天的操作区警告我们,有一个高数量的会话在 "睡眠"......
在Confluent 5.0.1中,"错误.deadletterqueue.topic.name "没有效果。
我最近从confluent 4.0.1升级到了confluent 5.0.1。bootstrap.server的版本是Kafka 1.0。在我的HBaseSink连接器中,我配置了新的功能""errors.deadletterqueue..."。
当在不同的服务器上运行Kafka和Kafka-connect时,连接到kafka集群失败。
我在不同的服务器上运行Kafka和Kafka-connect(比如serverA和serverB)serverA为kafka connect # vi homekafkaconfigconnect-distributed.properties bootstrap.s servers=serverB:9092 ... ...
Debezium Kafka CDC连接器,即使在转换器是StringConverver的情况下,也会将key作为avro。
这是我的连接器配置: curl -s -k -X POST http:/******************************************************************:8083connectors -H "Content-Type: applicationjson" -d '{ "name": "mysql-cdc-CUSTOMER_DETAILS-007", "config": { "tasks....
kafka-connect-elasticsearch。当使用 "write.method "作为upsert时,是否可以在kafka主题上使用同一个AVRO对象来发送部分文档?
我正在尝试使用 "write.method "upsert用于Elasticsearch(ES)kafka连接器。在我的kafka流应用中,我正在写我的文档,我想upsert,在一个kafka主题上,ES连接器是...
我们能否使用kafka JDBC源连接器从多个数据库中提取数据并将其放入一个输入主题?
我们有一个用例,其中业务逻辑要求我们将不同数据库的表连接起来,并将最终结果推送到输入主题上。
如何将Kafka Connect中的SourceRecord转换为AVRO?
我有一个用例,我需要将SourceRecord转换为GenericRecord。谁能帮助我如何做?基本上,我正在编写一个自定义的Kafka生产者,并将其嵌入到Connect运行时......
开发kafka连接器需要添加connect-api依赖。我应该使用哪一个?例如mongodb连接器使用maven central的connect-api,但开发指南中的链接是https:/...。
在kafka_connect中配置__consumer_offset以减少空间。
我读到在brokers上有一个配置,可以用offset.reention.minutes来设置offset数据保留的时间。我的Kafka架构由3个ZK,3个Brokers和2个kafka connect workers组成。我的Kafka架构由3个ZK,3个Broker和2个kafka connect worker组成。
当使用Oracle DB时,Kafka连接器的正确属性是什么?
我正在学习Kafka连接,并希望使用Oracle作为我的数据库。我在属性方面遇到了问题。有没有什么设置属性是我遗漏的,以解决这个错误?
Debezium-oracle-connect, kafka connect ORA-01031。
我按照官方文档创建kafka connect。Kafka2.4和Debezium 1.0 Final { "name": "oracle-connect", "config": "connector.class" : "io.debezium.connector.oracle......" { "name": "oracle-connect", "config": { "connector.class" : "io.debezium.connector.oracle......
我在Kafka中不能用公网IP收发消息。我试着把IP改成private和public,也试着把advertised.host.name改成0.0.0.0。我也试过将advertised.host.name改为0.0.0.0。