使用云功能从云存储中将数据加载到BigQuery中(替代功能?)

问题描述 投票:1回答:1

我目前正在使用云功能将数据从云存储中的csv文件加载到BigQuery。

但是,云功能具有超时限制,我希望这些文件能够在导致问题的地方变得足够大。

此外,插入大查询仅限于10mb/insert_rows

我还可以使用什么来代替云功能来实现这一目标?需要在文件放入云存储时触发它。

google-cloud-platform google-bigquery google-cloud-storage google-cloud-functions etl
1个回答
2
投票

如果要从.CSV插入文件,请使用批量加载作业。要求BigQuery加载文件是次要的工作,BigQuery将继续以异步模式加载它们。

这些负载是免费的,您的云功能无需等待它完成。

每次将新文件放入GCS存储桶时,您都可以设置调用云功能的通知。

© www.soinside.com 2019 - 2024. All rights reserved.