如何在 MySQL CDC 复制期间从 BigQuery 表中删除数据流 UUID？

Question

我正在使用 Datastream 将数据从 MySQL 复制到 BigQuery，但我想排除添加到 BigQuery 表中的 Datastream UUID 列。但是，我仍然需要维护 CDC（更改数据捕获）功能。我怎样才能实现这个目标？

这是我的设置的细分：

• 我正在使用 Datastream 将数据从 MySQL 复制到 BigQuery。
• Datastream 会自动将 UUID 列添加到 BigQuery 中的复制表中。

Answer 1

根据此文档，生成事件时会自动包含元数据字段。使用 Datastream，您可以指定表和架构的包含和排除列表，以仅将所需的数据从源流式传输到目标。对于包含的表，您可以排除表的特定列，以进一步精确调整要流式传输到目标的数据。

根据我的理解，我们无法关闭在 BigQuery 中创建元数据字段列。作为解决方法，您可以考虑创建一个 view，仅包含数据流创建的 bigquery 表中所需的列。如果您希望在数据流中使用此功能，您可以在Issue Tracker中提出功能请求。