Apache Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据的工具。 - https://kafka.apache.org/documentation.html#connect
无法将主题“testtopic”的数据反序列化到 Avro 以用于接收器连接器
这是接收器连接器属性 “名称”:“接收器-testtopic-crdb”, “配置”:{ “connector.class”:“io.confluence.connect.jdbc.JdbcSinkConnector”,...
我正在使用 Kafka Connect 处理来自 Kafka 主题的消息,当我收到包含 Avro 消息的 SinkRecord 时,我得到的值是“Struct”类型,这是
在使用源连接器将其发送到主题时,有什么方法可以获取导致问题的不良记录吗?
在接收器连接器(我正在使用Jdbc接收器连接器)中,如果我使用以下属性,我将在提到的主题(即dead_topic)中得到导致错误或错误的记录。 “错误容忍度”:&...
我正在使用 kafka connect 将数据从 kafka 写入 BigQuery。我有一个单一接收器连接器消耗的多个主题,即使用正则表达式来过滤它消耗的主题,并捕获新主题...
我正在尝试为 ServiceNow 设置 Apache Kafka 源和接收器连接器。接收器连接器工作完美,我能够使用下面的转换将嵌套的 JSON 有效负载扁平化为 Serv...
目前,我们正在为我们的汇合 kafka 连接分布式工作集群使用几个自定义连接器插件。困扰我很久的一件事是kafka connect写入所有日志...
使用 Confluence Cloud 的 Elastic Search 连接器将数据推送到 Elastic 中。 有没有办法只删除/选择字段列表? 我读到了连接器中可用的转换选项,但无法...
如何使用 Kafka HTTP Sink 连接器从特定偏移量消费消息
我正在使用 Kafka Confluence HTTP Sink Connector 来消费来自 Kafka 主题的消息,默认情况下它会从头开始读取所有消息。我有一个用例,我想停止连接器一段时间......
我有一个名为 test 的数据库,上面有多个 Kafka Debezium 连接器。 每个连接器与一个表相关联。 我的问题是关于内存使用情况,这是一个更好的方法......
我计划使用 MySQL Debezium 连接器,并对错误处理的配置有疑问。 Apache Kafka Connect 似乎有用于错误处理的errors.tolerance 属性。还有...
我可以使用单个 s3-sink 连接器通过对不同主题使用不同类型的 Avro 架构来为时间戳字段指向相同的字段名称吗?
主题 t1 的架构 { “类型”:“记录”, "name": "信封", “命名空间”:“t1”, “字段”:[ { “姓名”:&
如何从 Avro 记录中提取字段子集,然后使用另一个模式写入 S3?
我们有一个 S3 连接器,它从主题读取数据并将 Avro 记录按原样批处理在一起,然后将它们作为 .avro 文件写入 S3。 我的用例是我想要一个更智能的连接器......
我是kafka的新手,我已经在本地安装了默认配置的kafka 10。现在,我面临一个问题。 我正在从控制台制作人生成消息。如果消息大约 4096 字节。然后就是消费了...
如何使用 .properties 文件将 Dockerfile 加载到 K8s (AKS) 中?
我有以下项目: https://github.com/abil/kafka-connect-abil 在本地运行 dockerfile 效果非常好。 我尝试了一些方法让它在 k8s 中工作...... 我试过Kom...
更改事件中心和使用者组后,事件中心源连接器抛出“无效偏移”错误
我的设置中有一个事件中心源连接器,它最初指向命名空间内的单个分区事件中心。最近,我们决定迁移到新的事件中心,增加了
正在开发将 smt(单消息转换)附加到 debezium mysql 源连接器。我是参考文档实现了debezium smt,放了smt和mysql源码
使用 Debezium PostgresSQL 连接器时主题为空
目前,我在 Windows 上运行 Kafka 和 Debezium PostgreSQL Connector。 我遵循的步骤: 运行动物园管理员: .\kafka 在\windows\zookeeper-server-start.bat .\kafk
我正在尝试配置 Kafka 源连接器以从 IBMMQ 读取消息并将这些消息路由到 Kafka 主题。我收到两种类型的消息,这两种消息的值都是字符串....
Confluence S3 Sink 连接器:使用带有压缩功能的 Parquet 格式类时出错
我正在使用 s3 连接器从 kafka avro 主题(带有架构注册表)读取并以 parquet 格式推送到 s3。当没有压缩时它工作得很好。但是当我使用 gzip 压缩时,我得到以下结果...