cdc 相关问题

CDC可以参考通信设备类（或USB CDC）。也可以参考Microsoft SQL Server中的更改数据捕获。也可以参考Java ME中的连接设备配置。

AWS DMS（数据库迁移服务）数据类型转换问题

我目前正在尝试使用 AWS DMS 将多个表从 MySQL 移动并捕获 (CDC) 到 PostgreSQL。初始复制运行良好，但问题出在 CDC 期间的 PostgreSQL UUID 类型。对于

mysql postgresql uuid cdc aws-dms

回答 1 投票 0

连接器启动时的 Debezium 信号表

我对 debezium 中的临时快照信号有疑问假设我在创建 CDC 连接器之前已在数据库中创建了信号表： -- 创建信号表创建表

apache-kafka debezium cdc

回答 1 投票 0

如何将 QuestDB 与 Debezium 集成？

Debezium 和 QuestDB 之间有集成吗？ QuestDB 可以充当源和接收器吗？

debezium cdc change-data-capture questdb

回答 1 投票 0

我没有找到 cdc.fn_cdc_get_net_changes_*

我正在使用 CDC 开发 SQL Server 业务逻辑。 CDC 工作正常，我看到 cdc 表中的更改，但找不到函数 cdc.fn_cdc_get_net_changes*。但还存在其他功能：cdc。

sql-server cdc

回答 1 投票 0

AWS DMS Source Test 终端节点连接中出现错误

测试端点失败：应用程序状态：1020912，应用程序消息：无法连接发生网络错误，应用程序详细消息：RetCode：SQL_ERROR SqlState：08001 NativeError：101

postgresql amazon-web-services cdc aws-dms

回答 1 投票 0

如何从CDC表中分部分读取数据？

我有 2 张带 CDC 的大桌子。这个想法是将数据传输到一些新表。因此，我想按部分从 CDC 表中读取数据，并且不要重复读取已读取的内容。怎么会这样

sql-server cdc

回答 1 投票 0

当plugin.name 为 wal2json 时，Kafka Connect 与 Debezium 连接到 Azure Postgres 时出错

我已经设置了 Kafka 连接，启动正常。我正在尝试使用 wal2json 共享库将 Debezium 源连接器设置到 Azure 灵活服务器。我已启用 wal2json 并且可以手动...

postgresql apache-kafka debezium cdc

回答 1 投票 0

使用 debezium 连接 PostgreSQL 和 Kafka 的问题

我正在尝试使用 Debezium 设置从 PostgreSQL 数据库到 Kafka 的变更数据捕获 (CDC)。我已成功从 MySQL 数据库为 CDC 配置 Debezium，但遇到问题...

postgresql apache-kafka debezium cdc

回答 1 投票 0

AWS DMS CDC 到 S3 目标

所以我正在尝试使用数据迁移服务 Chance Data Capture 来实现什么，将数据从 MSSQL 转移到 S3 以及 Redshift。红移测试很好，如果我删除...

amazon-s3 cdc aws-dms

回答 2 投票 0

AndroidStudio USB：EXTRA_PERMISSION_GRANTED 返回 false - 始终

我想使用以下代码 (AndroidStudio Chipmunk) 将 USB CDC 设备（FTDI 芯片或 CD2010 或定制芯片）连接到我的 Galaxy A12 (Android SDK 30)：公共类 MainActivity 扩展

android usb cdc

回答 2 投票 0

JDBC接收器连接器不能消耗删除操作，但可以消耗更新和删除（postgres）

我有一个源连接器和一个在docker上运行的接收器连接器。我已经构建了一个cdc，以允许从源数据库同步到接收数据库，这都是postgres。我得到了更新并插入工作得很好但是......

postgresql jdbc apache-kafka cdc

回答 1 投票 0

底层数据更改时的 Databricks DLT 和 CDC

我有一个 DLT，其中底层数据以 parquet 格式存储在 S3 中。该数据可能会被更新和附加。抛开 SCD 只看 CDC，我正在尝试找到 SQL 语法...

databricks cdc delta-live-tables

回答 1 投票 0

将 Hazelcast IMap 与数据库 postgres 同步

我正在使用 hazelcast jet 来捕获数据库更改。我有一个管道可以捕获数据库更改并更新 IMap：管道 pipeline(StreamSource theDataBase, IMap 我正在使用 hazelcast jet 来捕获数据库更改。我有一个管道可以捕获数据库更改并更新 IMap: Pipeline pipeline(StreamSource<ChangeRecord> theDataBase, IMap<Long, String> myMap) { var pipeline = Pipeline.create(); pipeline.readFrom(theDataBase) .withoutTimestamps() .writeTo(CdcSinks.map(myMap, record -> Long.parseLong(Objects.requireNonNull(record.key()).toMap().get("id").toString()), record -> record.value().toJson())); return pipeline; } 我想做反向同步，即当地图发生变化时发出请求更新数据库中的记录。我通过添加第二个管道尝试了这一点： Pipeline pipelineReversed(IMap<Long, String> myMap) { Pipeline p = Pipeline.create(); p.readFrom(Sources.mapJournal(myMap, START_FROM_CURRENT)) .withoutTimestamps() .writeTo(Sinks.jdbc("%some update query%", () -> { BaseDataSource dataSource = new PGXADataSource(); dataSource.setUrl("jdbc:postgresql://localhost:5432/my_db"); dataSource.setUser("postgres"); dataSource.setPassword("postgres"); dataSource.setDatabaseName("my_db"); return dataSource; }, (stmt, record) -> { // fill query params and execute })); return p; } 但是我得到了递归，地图和数据库不断地互相更新。我可以用这种方法避免递归吗？或者也许还有其他工具和最佳实践？您应该使用 MapStoreAdapter，我怀疑您是否需要使用 Jet 来获取数据库更改，但话又说回来，我不知道您系统的架构。我会在这里阅读更多内容： https://docs.hazelcast.com/hazelcast/5.3/mapstore/working-with-external-data

postgresql hazelcast cdc hazelcast-jet

回答 1 投票 0

Debezium 无法授权 Mongodb 分片

我创建了一个包含 2 个分片的 MongoDb 分片集群，其中一个分片位于另一台来宾计算机中。集群已启用授权。为了解决这个问题，我创建了一个超级用户......

mongodb debezium cdc

回答 1 投票 0

为数据库中的多个表配置 debezium 连接器

我正在尝试为 MySQL 数据库中的多个表配置 Debezium 连接器（我在 MySQL 8.0 上使用 Debezium 1.4）。我的公司在创建主题时需要遵循一个命名模式

mysql apache-kafka apache-kafka-connect debezium cdc

回答 2 投票 0

给定两个 SQL Server 备份文件，生成更改数据集的最有效方法是什么？

我需要从仅提供数据库完整快照的供应商处获取数据，而不是推送更改或提供直接查询/API 访问。所以供应商上传了一个 SQL Server b...