GCP MongoDB 到 BigQuery CDC 模板不会从 MongoDB 更改流传输/读取数据

Question

我正在将 MongoDB 配置为 BigQuery CDC 模板。该作业能够连接到 MongoDB 并启动。但它不会自动处理任何变更流。当我手动将消息发布到 Pub/Sub 主题时，它才会处理并写入 BigQuery。

https://cloud.google.com/dataflow/docs/guides/templates/provided-streaming#mongodb-to-bigquery-cdc

我的理解是，如果配置要求 MongoDB 连接 URI、数据库和集合名称，那么它不应该直接连接到 Change Streams 并将数据填充到 BigQuery 吗？我需要一个单独的进程来从 mongodb 读取更改流、提取记录然后将其发送到 Pub/Sub，这有点没有意义。

如果是这种情况，为什么配置要求 MongoDB 参数？

Answer 1

不太熟悉该模板，它是由 MongoDB 引入的，他们通常是支持它的。

但是，查看https://github.com/GoogleCloudPlatform/DataflowTemplates/blob/main/v2/mongodb-to-googlecloud/docs/MongoDbToBigQueryCDC/README.md，似乎需要

Changestream running that pushes the changes from MongoDb to Pub/Sub topic. 

，这似乎是这里缺失的一部分。

也许这很有帮助：https://www.mongodb.com/developer/products/mongodb/stream-data-mongodb-bigquery-subscription/

Answer 2

你能解决这个问题吗？我也有同样的问题，只能直接发布到pubsub