apache-kafka-connect 相关问题

Apache Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据的工具。 - https://kafka.apache.org/documentation.html#connect

Debezium Mongo 连接器无法读取 oplog,即使使用 changestream

我需要实施 CDC 模式,但无法使其工作:我的 debezium worker 已启动并正在运行,但尽管我付出了努力,但我的连接器仍然失败。 我测试了一个简单的“手表”o ...

回答 2 投票 0

Debezium 甲骨文连接器。并非所有快照步骤都使用 include.list

我正在试验 Kafka 和 Debezium oracle 连接器。 我在 table.include.list 中定义了一张表 当我运行连接器时,只有快照第 3 步似乎选择了包含列表。 (它...

回答 0 投票 0

如何实现从外部Kafka消费数据并写入我们的AWS RDS的流程?

我正在实施客户管理解决方案,并从游戏平台、CRM/营销工具等多个来源接收数据,并合并到内置的标准化数据仓库中……

回答 1 投票 0

我的模式映射函数在从 Kafka 管道消费时与正则表达式不匹配,尽管正则表达式看起来不错

我有一个要求,我需要首先匹配日志中的正则表达式,如果它匹配然后执行正则表达式提取,但是正则表达式工作时正则表达式在 Kafka 管道中不起作用

回答 1 投票 0

我可以向 Kafka Connect 从 csv 文件创建的所有消息添加任意密钥吗?

我需要将 Kafka Connect (spooldir) 从 csv 文件创建的所有消息标记为来自同一个文件。我可以向这些消息添加任意键吗? (例如,关键是 f 的名字......

回答 0 投票 0

AWS MSK Kafka 连接器到 DynamoDB

我正在尝试将 AWS MSK 连接器设置到 DynamoDB,但我不明白如何指定 DunamoDB 密钥。 连接器.class=io.confluent.connect.aws.dynamodb.DynamoDbSinkConnector 表.名.

回答 1 投票 0

Confluent Cloud“超出速率限制”错误

注册了一个试用帐户。让我们逐步创建标准测试数据连接器。一切准备就绪,可以尝试输入一些数据。所以我选择 SFTP Connector 并配置它。我点击预览...

回答 0 投票 0

Confluent Sftp 接收器连接器返回无法使用现有会话打开新的 SFTP 通道

sftp 接收器连接器返回无法使用现有会话打开新的 SFTP 通道 错误的堆栈跟踪如下,我们能够使用

回答 0 投票 0

删除kafka中的文件而不用

我需要在我的一个 kafka 服务器上获得空间。我想知道我是否可以删除最旧的文件 *。指数 *。日志 *.快照 我的 Kafka 没有问题? 我读过不同的文件

回答 0 投票 0

Kafka Sink Connector 延迟始终显示 1,即使在处理完所有记录后也是如此

我是卡夫卡连接的新手。 我正在使用 Kafka Sink Connector 将数据写入数据湖。连接器将数据写入暂存位置,然后将其移动到目标位置。然而,当...

回答 1 投票 0

kafka connect-standalone.properties, connect-file-source.properties 错误

你好我有关于kafka standalone的问题 我想使用 connect-file-source.properties 和 connect-standalone.properties 执行 kafka。 连接文件源.properties 名称=本地文件源 反对...

回答 1 投票 0

Debezium 发件箱模式属性 transforms.outbox.table.expand.json.payload 删除空数组

我正在使用 debezium postgres 连接器实现发件箱模式,建立在官方文档的基础上:https://debezium.io/documentation/reference/stable/transformations/outbox-event-

回答 0 投票 0

kafka connect-standalone 在 (org.apache.kafka.connect.runtime.ConnectorConfig$EnrichedConnectorConfig:376) 之后挂起

我尝试使用 kafka-connect 来捕获来自 mySQL 的更改。对于这种情况,我将 confluentinc/kafka-connect-jdbc 与 mysql 驱动程序一起使用。 但是,当通过执行 connect-standalo 启动 kafka-connect 时...

回答 0 投票 0

S3 源连接器找不到类

我正在尝试设置我的 Kafka S3 源连接器以从我的 S3 存储桶中提取文件。但是,当我在连接时检查连接器的状态时,我将其作为错误响应 error_code: 500

回答 0 投票 0

从消息负载中记录 Kafka Connect 中的特定属性

我设置了 Kafka 连接监听消息并将它们传递给其他主题。所有消息都是 json 格式,在这些消息 json 有效负载中,您可以看到需要的 Id ...

回答 0 投票 0

Kafka Listener Adapter .Java 文件的更改阶段/目标

我可以利用另一个运行 Kafka 应用程序/代码库的团队来使用相同的数据/将其加载到我们的新暂存表中,而不是他们的。他们有很多不同的 kafka listener adapter .j...

回答 0 投票 0

如何使用 Kafka 在 S3 中只写入一个文件(追加)

我在 EKS 上部署了 kafka。我将 strimzi 与架构注册表一起使用。我的接收器连接器是(抽象的): s3.part.size:5242880 冲洗尺寸:20000 rotate.schedule.interval.ms: 10000 变换:“

回答 0 投票 0

Mongosink 连接器以排除主题

我的 kafka 集群有 mongo 接收器连接器,它将主题数据汇入 mongo 数据库。 我正在寻找属性以在我的接收器连接器中排除一个主题(如果有的话)。 解释: 本地。

回答 1 投票 0

在 JAVA 中编辑用户定义的对象?

我正在使用 Java 从 kafka 主题向 postgres 写入数据, 我正在使用下面的代码从 kafka 循环记录 对于(SinkRecord 记录:记录) { log.info("新记录集:{}", r...

回答 1 投票 0

Kafka Connect FileConfigProvider 密码屏蔽不提供所有属性

我想使用 FileConfigProvider 将数据库密码存储在单独的文件中。有趣的是文件中没有提供最后一个属性。我有连接器配置: { “名字”:...

回答 0 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.