apache-kafka-connect 相关问题

Apache Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据的工具。 - https://kafka.apache.org/documentation.html#connect

如何通过REST或其他任何方式将流结果保存到远程数据库中

我已经检查了融合的kafka流wordcount和异常检测示例。在这些示例中,结果被写入主题。而不是这个如何通过REST将结果保存到远程数据库...

回答 1 投票 1

重新启动kafka connect sink和source连接器以从头开始读取

我已经在这方面进行了很多搜索,但似乎没有一个很好的指导。从我搜索的内容中可以考虑以下几点:重置Sink Connector内部主题(...

回答 1 投票 0

是否可以在消息触发的debezium mysql连接器运行时重命名字段?

我已经配置了debezium mysql连接器,我需要在有效负载中包含附加字段作为表名。我需要做哪些配置更改才能实现此目的?

回答 1 投票 0

如何修复无法打开与jdbc的连接:oracle:thin:@ldap:// etc \ n必须指定的模式

我正在尝试使用rest API创建Kafka-connect源实例。我一直得到上 述异常。我发布此连接信息(不包括密码){“name”:“example -...

回答 1 投票 0

kafka-connect以分布式模式返回409

我正在运行kafka-connect分布式设置。我正在测试一个机器/进程设置(仍处于分布式模式),工作正常,现在我正在使用3个节点(和3个连接进程),...

回答 2 投票 1

如何在另一台主机上连接kafka和MySQL?

我的数据库在另一个Linux节点中,假设xxx.xx.xxx.xxx:3306,我从我的Windows机器运行kafka connect的独立命令。我的server.properties代码是name = test-source -...

回答 1 投票 2

NodeJS:KafkaJSProtocolError:组成员支持的协议与现有成员的协议不兼容

我试图使用MongoDB debezium连接器从Kafka捕获数据,但是当我尝试使用KafkaJS读取它时出现错误:KafkaJSProtocolError:组成员支持的协议是......

回答 1 投票 0

汇编:错误无法运行查询表TimestampIncrementingTableQuerier mysql-jdbc

我正在尝试使用MySQL的模式时间戳,行数有限,因为我的表大小是2.6 GB。以下是我正在使用的连接器属性:{“name”:“jdbc_source_mysql_registration_query”...

回答 2 投票 1

汇合3.3升级后,Kafka-cassandra连接器出现故障

汇总升级到3.3.0后,Cassandra连接器出现故障。 Cassandra驱动程序的版本是3.3。堆栈如下。 [2017-09-14 08:56:28,123]错误java.lang.reflect ....

回答 1 投票 5

Confluent replicator无法在目标kafka服务器上复制数据

我在两个不同的主机上安装了融合的Kafka,并尝试使汇合复制器工作。我已经完成了本教程中提到的内容。我开始时没有看到任何错误......

回答 1 投票 0

Kafka和Kafka Connect部署环境

如果我已经在内部运行Kafka,Kafka Connect只是在我现有的Kafka上配置,或者Kafka Connect是否要求它自己的服务器/环境与我的...

回答 2 投票 1

我如何关闭Apache Kafka连接器任务?

现在我正在使用Apache Kafka并且有任务:我们在目录中有一些csv文件,它是一个小批量文件,每个文件大约是25-30 MB。我只需要 - 解析文件并将其放入kafka。我所看到的, ...

回答 2 投票 1

python - 反序列化avro字节逻辑类型decimal到decimal

我试图使用python avro库(python 2)读取一个Avro文件。当我使用以下代码时:从avro.datafile导入avro.schema导入DataFileReader,从avro.io导入DataFileWriter ...

回答 2 投票 2

在初始轮询时,Kafka Connect JDBC连接器查询+递增模式扼流圈与大型数据集

我正在使用JDBC连接器将数据从MySQL移动到Kafka。我感兴趣的数据来自一个选择连接3个表,因此我已经为我的连接器配置了模式:递增和...

回答 1 投票 0

Kafka connect:配置XXX已提供,但不是AdminClientConfig中的已知配置

在启动Kafka-Connect时,我看到了很多警告10:33:56.706 [DistributedHerder] WARN org.apache.kafka.clients.admin.AdminClientConfig - 提供了配置'config.storage.topic'但是......

回答 1 投票 2

汇合s3汇在哪里放钥匙?

我设置了一个汇合的s3 sink connect,它在.s3中存储了.avro文件。我转储这些文件,并发现它们只是消息本身,我不知道在哪里可以找到消息密钥,任何想法? ......

回答 1 投票 0

使用Helm安装的Kafka / Confluent连接器

我已经按照这些说明使用Helm图表https://github.com/confluentinc/cp-helm-charts在本地Minikube上安装了Kafka,https://docs.confluent.io/current/installation / ...

回答 2 投票 2

Kafka Connect JDBC Connector - 由于不可恢复的异常而退出WorkerSinkTask

我正在使用JDBC接收器连接器,并在主题中有一个错误的消息。我知道为什么消息是坏的(由于生产者的问题,它由于FK约束违规而失败)。错误 ...

回答 1 投票 0

Kafka JDBC连接器中的自定义分区分配

我有一个用例,我需要编写一个自定义逻辑来根据消息中的某些关键参数分配分区。我对此做了一些研究,发现卡夫卡转型......

回答 1 投票 3

当从多个源插入源主题中的记录时,Kafka源连接器不会按预期拉动记录

在我的一个用例中,我试图创建一个管道,每当我从自定义分区发送消息时,我发送时间戳以毫秒为单位,使用LONG数据类型,因为在架构中,时间戳...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.