GCP FHIR 存储 BigQuery 流导致“超出速率限制:此表的表更新操作太多。”

问题描述 投票:0回答:0

我有一个 Google Cloud Healthcare 数据集,其中包含为 BigQuery 流式传输 配置的 FHIR 存储。当我添加一个更大的 (< 1000) collection to the FHIR store, the resources fail to add to the configured BigQuery dataset and produce an error.

我配置了一个数据流作业来协调 hl7v2 消息到 FHIR。有时,此作业一次处理几十条 hl7v2 消息,导致在几秒钟内添加数百个 FHIR 资源。我希望 BigQuery 流服务将所有资源移动到 BigQuery 数据集,但该服务经常失败并出现以下错误(在日志资源管理器中):

bigquery.googleapis.com jobservice.jobcompleted service-########@gcp-sa-healthcare.iam.gserviceaccount.com Exceeded rate limits: too many table update operations for this table. For more information, see https://cloud.google.com/bigquery/docs/troubleshoot-quotas

插入永远不会重试,因此行将永远丢失。有没有人能够解决这个问题?如果没有,我可能不得不放弃此功能并手动batch FHIR资源到BigQuery

google-cloud-platform google-bigquery hl7-fhir google-cloud-healthcare
© www.soinside.com 2019 - 2024. All rights reserved.