apache-kafka-connect 相关问题

Apache Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据的工具。 - https://kafka.apache.org/documentation.html#connect

无法将主题“testtopic”的数据反序列化到 Avro 以用于接收器连接器

这是接收器连接器属性 “名称”:“接收器-testtopic-crdb”, “配置”:{ “connector.class”:“io.confluence.connect.jdbc.JdbcSinkConnector”,...

回答 1 投票 0

从结构体重建 avro 对象

我正在使用 Kafka Connect 处理来自 Kafka 主题的消息,当我收到包含 Avro 消息的 SinkRecord 时,我得到的值是“Struct”类型,这是

回答 1 投票 0

在使用源连接器将其发送到主题时,有什么方法可以获取导致问题的不良记录吗?

在接收器连接器(我正在使用Jdbc接收器连接器)中,如果我使用以下属性,我将在提到的主题(即dead_topic)中得到导致错误或错误的记录。 “错误容忍度”:&...

回答 1 投票 0

在 BigQuery 接收器连接器中过滤主题列表

我正在使用 kafka connect 将数据从 kafka 写入 BigQuery。我有一个单一接收器连接器消耗的多个主题,即使用正则表达式来过滤它消耗的主题,并捕获新主题...

回答 1 投票 0

Apache kafka 转换扁平化的有效负载

我正在尝试为 ServiceNow 设置 Apache Kafka 源和接收器连接器。接收器连接器工作完美,我能够使用下面的转换将嵌套的 JSON 有效负载扁平化为 Serv...

回答 1 投票 0

Kafka Connect 分离日志记录

目前,我们正在为我们的汇合 kafka 连接分布式工作集群使用几个自定义连接器插件。困扰我很久的一件事是kafka connect写入所有日志...

回答 2 投票 0

从汇合<->弹性连接器中删除字段列表

使用 Confluence Cloud 的 Elastic Search 连接器将数据推送到 Elastic 中。 有没有办法只删除/选择字段列表? 我读到了连接器中可用的转换选项,但无法...

回答 1 投票 0

如何使用 Kafka HTTP Sink 连接器从特定偏移量消费消息

我正在使用 Kafka Confluence HTTP Sink Connector 来消费来自 Kafka 主题的消息,默认情况下它会从头开始读取所有消息。我有一个用例,我想停止连接器一段时间......

回答 1 投票 0

Kafka Connect:单个连接器或每表连接器方法

我有一个名为 test 的数据库,上面有多个 Kafka Debezium 连接器。 每个连接器与一个表相关联。 我的问题是关于内存使用情况,这是一个更好的方法......

回答 2 投票 0

Debezium 连接器如何处理错误?

我计划使用 MySQL Debezium 连接器,并对错误处理的配置有疑问。 Apache Kafka Connect 似乎有用于错误处理的errors.tolerance 属性。还有...

回答 1 投票 0

我可以使用单个 s3-sink 连接器通过对不同主题使用不同类型的 Avro 架构来为时间戳字段指向相同的字段名称吗?

主题 t1 的架构 { “类型”:“记录”, "name": "信封", “命名空间”:“t1”, “字段”:[ { “姓名”:&

回答 1 投票 0

如何从 Avro 记录中提取字段子集,然后使用另一个模式写入 S3?

我们有一个 S3 连接器,它从主题读取数据并将 Avro 记录按原样批处理在一起,然后将它们作为 .avro 文件写入 S3。 我的用例是我想要一个更智能的连接器......

回答 1 投票 0

消息在 Apache Kafka 中被截断

我是kafka的新手,我已经在本地安装了默认配置的kafka 10。现在,我面临一个问题。 我正在从控制台制作人生成消息。如果消息大约 4096 字节。然后就是消费了...

回答 4 投票 0

如何使用 .properties 文件将 Dockerfile 加载到 K8s (AKS) 中?

我有以下项目: https://github.com/abil/kafka-connect-abil 在本地运行 dockerfile 效果非常好。 我尝试了一些方法让它在 k8s 中工作...... 我试过Kom...

回答 2 投票 0

更改事件中心和使用者组后,事件中心源连接器抛出“无效偏移”错误

我的设置中有一个事件中心源连接器,它最初指向命名空间内的单个分区事件中心。最近,我们决定迁移到新的事件中心,增加了

回答 1 投票 0


使用自定义单消息转换器运行 debezum 源连接器

正在开发将 smt(单消息转换)附加到 debezium mysql 源连接器。我是参考文档实现了debezium smt,放了smt和mysql源码

回答 0 投票 0

使用 Debezium PostgresSQL 连接器时主题为空

目前,我在 Windows 上运行 Kafka 和 Debezium PostgreSQL Connector。 我遵循的步骤: 运行动物园管理员: .\kafka 在\windows\zookeeper-server-start.bat .\kafk

回答 0 投票 0

MQ 到 Kafka 源连接器过滤器

我正在尝试配置 Kafka 源连接器以从 IBMMQ 读取消息并将这些消息路由到 Kafka 主题。我收到两种类型的消息,这两种消息的值都是字符串....

回答 1 投票 0

Confluence S3 Sink 连接器:使用带有压缩功能的 Parquet 格式类时出错

我正在使用 s3 连接器从 kafka avro 主题(带有架构注册表)读取并以 parquet 格式推送到 s3。当没有压缩时它工作得很好。但是当我使用 gzip 压缩时,我得到以下结果...

回答 0 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.