BigQuery 数据集 - 使用计划查询上传行

问题描述 投票:0回答:1

我有一个每 24 小时运行一次的计划查询,将一些数据加载到 BQ 表中(该数据是关于前一天的一些问题)。此外,我希望每当该表的每日分区不为空时都会收到警报。对于本例,我使用“BigQuery Dataset - Uploaded rows”指标创建了一个警报。不幸的是,这个指标的表现就像没有数据添加到我的数据集中一样。这是否意味着计划查询添加的数据不计入其中?如果是 - 我如何创建一个电子邮件警报(不是给我自己,而是给其他电子邮件)表的 BQ 每日分区包含任何行?

google-bigquery dataset google-alerts
1个回答
0
投票

在 GBQ 中,加载作业是“批处理”作业。人们可以插入尽可能多的数据,但当 GBQ 后端有可用资源时就会对其进行处理。 有时用户可能会创建一个作业,如果工作池正在调整大小或已满或类似的情况,您必须等待。

出于同样的原因,您的数据可能无法立即访问,或者某些指标可能没有及时更新。您尝试添加的数据越大,显示所需的时间就越长。

通常,我会处理大量数据,因此作为标准做法,我还会在想要再次访问该数据之前添加几分钟的睡眠计时器。

就电子邮件警报或检查一些先决条件(例如分区是否为空等)而言,您必须在程序中自己管理这些。 (如果您没有使用 Magnus 等任何 GBQ 工作流程平台 (

https://potens.io/products/#magnus

))

© www.soinside.com 2019 - 2024. All rights reserved.