Apache Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据的工具。 - https://kafka.apache.org/documentation.html#connect
Debezium Mongo 连接器无法读取 oplog,即使使用 changestream
我需要实施 CDC 模式,但无法使其工作:我的 debezium worker 已启动并正在运行,但尽管我付出了努力,但我的连接器仍然失败。 我测试了一个简单的“手表”o ...
Debezium 甲骨文连接器。并非所有快照步骤都使用 include.list
我正在试验 Kafka 和 Debezium oracle 连接器。 我在 table.include.list 中定义了一张表 当我运行连接器时,只有快照第 3 步似乎选择了包含列表。 (它...
如何实现从外部Kafka消费数据并写入我们的AWS RDS的流程?
我正在实施客户管理解决方案,并从游戏平台、CRM/营销工具等多个来源接收数据,并合并到内置的标准化数据仓库中……
我的模式映射函数在从 Kafka 管道消费时与正则表达式不匹配,尽管正则表达式看起来不错
我有一个要求,我需要首先匹配日志中的正则表达式,如果它匹配然后执行正则表达式提取,但是正则表达式工作时正则表达式在 Kafka 管道中不起作用
我可以向 Kafka Connect 从 csv 文件创建的所有消息添加任意密钥吗?
我需要将 Kafka Connect (spooldir) 从 csv 文件创建的所有消息标记为来自同一个文件。我可以向这些消息添加任意键吗? (例如,关键是 f 的名字......
我正在尝试将 AWS MSK 连接器设置到 DynamoDB,但我不明白如何指定 DunamoDB 密钥。 连接器.class=io.confluent.connect.aws.dynamodb.DynamoDbSinkConnector 表.名.
注册了一个试用帐户。让我们逐步创建标准测试数据连接器。一切准备就绪,可以尝试输入一些数据。所以我选择 SFTP Connector 并配置它。我点击预览...
Confluent Sftp 接收器连接器返回无法使用现有会话打开新的 SFTP 通道
sftp 接收器连接器返回无法使用现有会话打开新的 SFTP 通道 错误的堆栈跟踪如下,我们能够使用
我需要在我的一个 kafka 服务器上获得空间。我想知道我是否可以删除最旧的文件 *。指数 *。日志 *.快照 我的 Kafka 没有问题? 我读过不同的文件
Kafka Sink Connector 延迟始终显示 1,即使在处理完所有记录后也是如此
我是卡夫卡连接的新手。 我正在使用 Kafka Sink Connector 将数据写入数据湖。连接器将数据写入暂存位置,然后将其移动到目标位置。然而,当...
kafka connect-standalone.properties, connect-file-source.properties 错误
你好我有关于kafka standalone的问题 我想使用 connect-file-source.properties 和 connect-standalone.properties 执行 kafka。 连接文件源.properties 名称=本地文件源 反对...
Debezium 发件箱模式属性 transforms.outbox.table.expand.json.payload 删除空数组
我正在使用 debezium postgres 连接器实现发件箱模式,建立在官方文档的基础上:https://debezium.io/documentation/reference/stable/transformations/outbox-event-
我尝试使用 kafka-connect 来捕获来自 mySQL 的更改。对于这种情况,我将 confluentinc/kafka-connect-jdbc 与 mysql 驱动程序一起使用。 但是,当通过执行 connect-standalo 启动 kafka-connect 时...
我正在尝试设置我的 Kafka S3 源连接器以从我的 S3 存储桶中提取文件。但是,当我在连接时检查连接器的状态时,我将其作为错误响应 error_code: 500
我设置了 Kafka 连接监听消息并将它们传递给其他主题。所有消息都是 json 格式,在这些消息 json 有效负载中,您可以看到需要的 Id ...
Kafka Listener Adapter .Java 文件的更改阶段/目标
我可以利用另一个运行 Kafka 应用程序/代码库的团队来使用相同的数据/将其加载到我们的新暂存表中,而不是他们的。他们有很多不同的 kafka listener adapter .j...
我在 EKS 上部署了 kafka。我将 strimzi 与架构注册表一起使用。我的接收器连接器是(抽象的): s3.part.size:5242880 冲洗尺寸:20000 rotate.schedule.interval.ms: 10000 变换:“
我的 kafka 集群有 mongo 接收器连接器,它将主题数据汇入 mongo 数据库。 我正在寻找属性以在我的接收器连接器中排除一个主题(如果有的话)。 解释: 本地。
我正在使用 Java 从 kafka 主题向 postgres 写入数据, 我正在使用下面的代码从 kafka 循环记录 对于(SinkRecord 记录:记录) { log.info("新记录集:{}", r...
Kafka Connect FileConfigProvider 密码屏蔽不提供所有属性
我想使用 FileConfigProvider 将数据库密码存储在单独的文件中。有趣的是文件中没有提供最后一个属性。我有连接器配置: { “名字”:...