如何将 Spanner 更改数据捕获列名称映射到 BigQuery 中的不同列名称

问题描述 投票:0回答:0

我创建了Spanner数据库表的变更数据捕获(CDC),但问题是在BigQuery表中,列名不同,导致数据流管道失败。如何将 CDC 列名称映射到 BigQuery 表的不同列名称?我还没有找到可以成功执行此映射的现有模板。

我尝试了下面的查询,但没有一个有效。有没有办法用现有的模板解决这个问题

gcloud dataflow flex-template run sku-inv-loc-bq-dataflow --template-file-gcs-location gs://dataflow-templates-us-central1/latest/flex/Spanner_Change_Streams_to_BigQuery --region us-central1 --subnetwork https://www.googleapis.com/compute/v1/projects/npd-met/regions/us-central1/subnetworks/mit-dfe-np-us-central1 --network mit-dfd-vpc --parameters spannerInstanceId=us-central-sku-location1-qacd,spannerDatabase=sku-location1-db-qacd,spannerMetadataInstanceId=us-central-sku-location1-qacd,spannerMetadataDatabase=sku-location1-db-qacd,spannerChangeStreamName=sku_inv_loc_change_stream,bigQueryDataset=sku_inv_loc_db2b
google-bigquery google-cloud-dataflow apache-beam google-cloud-spanner change-data-capture
© www.soinside.com 2019 - 2024. All rights reserved.