apache-kafka-connect 相关问题

Apache Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据的工具。 - https://kafka.apache.org/documentation.html#connect

Debezium MySQL 连接器错误:遇到此连接器不知道其架构的表的更改事件

我创建了一个 Debezium 连接器来通过此配置从 Mysql 侦听 binlog 事件: { "connector.class": "io.debezium.connector.mysql.MySqlConnector", “topic.creation.d ...

回答 1 投票 0

为jdbc sink连接器提取和转换kafka消息的特定字段。

我有一个kafka主题,使用Debezium mysql源连接器从mysql数据库获取数据,以下是其中一条消息的格式。{ "Message": { "schema": { ...

回答 2 投票 0

Kafka Connect和Kafka Streams提交间隔之间有关系吗?

假设我们有一个Kafka Sink Connector从一个TopicA主题中填充数据库,一个Kafka Stream App推送更新到TopicA主题。我想知道如果。数据更新到...

回答 1 投票 0

Confluent Kafka Connect MQTT Source和Sink连接器的开源替代方案[封闭式]

我想通过mqtt broker连接到Apache Kafka(非企业版,没有使用Confluent kafka管理服务)。我使用Confluent的Kafka Connect MQTT源和汇,但我意识到它 ...

回答 2 投票 1

当使用Kafka Connect S3 Sink时,从S3路径中删除主题名称。

使用https:/docs.confluent.iocurrentconnectkafka-connect-s3index.html 我如何设置连接器,使Kafka主题名称不包含在输出的S3路径中?我正在使用...

回答 1 投票 0

如何在后台运行Kafka Connect connect-distributed.sh(守护进程)?

我通过ssh连接到远程主机,然后运行.connect-distributed ...etckafkacusom-connect-distr.properties,现在终端无法输入。我试过-daemon选项,但它没有做 ...

回答 1 投票 0

Kafka Connect。用于有条件替换字段值的SMT

我知道有一些转换动作可以用来掩盖字段的值,例如MaskField。我有一个需求,我需要做有条件的屏蔽,即只有当同一个字段有一个特定的值时,才将值设置为NULL。

回答 1 投票 0

Kafka Connect。用于有条件替换字段值的SMT

我知道有一些转换动作可以用来掩盖字段的值,例如MaskField。我有一个需求,我需要做有条件的屏蔽,即只有当同一个字段有一个特定的值时,才将值设置为NULL。

回答 1 投票 0

Kafka connect confluent jdbc不控制MSSQL数据库中的会话池。

我正在使用Kafka connect和confluent jdbc。集成一个源连接器与Mssql和前几天的操作区警告我们,有一个高数量的会话在 "睡眠"......

回答 1 投票 0

在Confluent 5.0.1中,"错误.deadletterqueue.topic.name "没有效果。

我最近从confluent 4.0.1升级到了confluent 5.0.1。bootstrap.server的版本是Kafka 1.0。在我的HBaseSink连接器中,我配置了新的功能""errors.deadletterqueue..."。

回答 1 投票 1

当在不同的服务器上运行Kafka和Kafka-connect时,连接到kafka集群失败。

我在不同的服务器上运行Kafka和Kafka-connect(比如serverA和serverB)serverA为kafka connect # vi homekafkaconfigconnect-distributed.properties bootstrap.s servers=serverB:9092 ... ...

回答 1 投票 0

Debezium Kafka CDC连接器,即使在转换器是StringConverver的情况下,也会将key作为avro。

这是我的连接器配置: curl -s -k -X POST http:/******************************************************************:8083connectors -H "Content-Type: applicationjson" -d '{ "name": "mysql-cdc-CUSTOMER_DETAILS-007", "config": { "tasks....

回答 1 投票 0

kafka-connect-elasticsearch。当使用 "write.method "作为upsert时,是否可以在kafka主题上使用同一个AVRO对象来发送部分文档?

我正在尝试使用 "write.method "upsert用于Elasticsearch(ES)kafka连接器。在我的kafka流应用中,我正在写我的文档,我想upsert,在一个kafka主题上,ES连接器是...

回答 1 投票 0

我们能否使用kafka JDBC源连接器从多个数据库中提取数据并将其放入一个输入主题?

我们有一个用例,其中业务逻辑要求我们将不同数据库的表连接起来,并将最终结果推送到输入主题上。

回答 1 投票 0

如何将Kafka Connect中的SourceRecord转换为AVRO?

我有一个用例,我需要将SourceRecord转换为GenericRecord。谁能帮助我如何做?基本上,我正在编写一个自定义的Kafka生产者,并将其嵌入到Connect运行时......

回答 1 投票 0

Kafka connect 开发连接器依赖性

开发kafka连接器需要添加connect-api依赖。我应该使用哪一个?例如mongodb连接器使用maven central的connect-api,但开发指南中的链接是https:/...。

回答 1 投票 0

在kafka_connect中配置__consumer_offset以减少空间。

我读到在brokers上有一个配置,可以用offset.reention.minutes来设置offset数据保留的时间。我的Kafka架构由3个ZK,3个Brokers和2个kafka connect workers组成。我的Kafka架构由3个ZK,3个Broker和2个kafka connect worker组成。

回答 1 投票 0

当使用Oracle DB时,Kafka连接器的正确属性是什么?

我正在学习Kafka连接,并希望使用Oracle作为我的数据库。我在属性方面遇到了问题。有没有什么设置属性是我遗漏的,以解决这个错误?

回答 1 投票 0

Debezium-oracle-connect, kafka connect ORA-01031。

我按照官方文档创建kafka connect。Kafka2.4和Debezium 1.0 Final { "name": "oracle-connect", "config": "connector.class" : "io.debezium.connector.oracle......" { "name": "oracle-connect", "config": { "connector.class" : "io.debezium.connector.oracle......

回答 1 投票 1

我无法在kafka中用公网IP收发消息。

我在Kafka中不能用公网IP收发消息。我试着把IP改成private和public,也试着把advertised.host.name改成0.0.0.0。我也试过将advertised.host.name改为0.0.0.0。

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.