连接数据表单中不同位置的表

问题描述 投票:0回答:1

如果第一个表存储在美国位置而第二个表存储在欧盟位置,是否可以使用 dataform 连接 BigQuery 中的两个表? dataform 是否能够通过不同位置进行任何数据传输?

我的任务是对数据进行一些转换并将它们保留在新的数据集中。问题是包含我转换所需的附加信息的关键表仅存储在欧盟的单独表中。

google-bigquery dataform
1个回答
0
投票

我思考这个问题的方式是“我可以在没有 Dataform 的情况下解决这个问题吗?”。例如,如果我在一个区域有表“A”,在另一区域有表“B”,我可以对这两个区域执行 JOIN 吗?我的理解是“不”。 BigQuery 要求要连接的数据必须位于同一 BigQuery 区域。

Dataform 为您要执行的 SQL 语句添加了管理。将 Dataform 视为 SQL 生成器/编译器。如果生成的 SQL 无法运行,那么 Dataform 就无法解决这个难题。

对于整个拼图,您只需将要加入的一张桌子带到一个区域。 Dataform 将允许您执行任意 SQL ...因此您可以执行从一个区域到另一个区域的表复制,然后对两个表进行联接,只要它们位于同一区域即可。

© www.soinside.com 2019 - 2024. All rights reserved.