每天将Bigquery数据保存在云存储中

Question

我有一个 bigquery 表事件。数据来自 firebase。我们有从 2023 年 01 月 18 日至今的数据。

我想每天将所有以前的数据迁移到 Cloud Storage 中，然后对于新的日子，每天都有一个 cron。

我创建了这个脚本

EXPORT DATA OPTIONS ( 
  uri='gs://gara-store-firebase-events-bucket/event*.json',
  format='JSON',
  overwrite=true) AS

SELECT * FROM `gara-XXXXXX.analytics_247657392.events_20231101`;

我成功在 CS 中保存了这个特定的表，但是：

• 我不知道如何迭代每一天
• 我不知道如何在 CS 中创建的备份文件的名称中添加日期，例如

  20231101

  。

请问我该怎么办？

Answer 1

正如@Teddy Kossoko在评论中提到的，创建一个lambda，并向bigquery发送请求以请求最新数据，并将其保存到云存储。

将答案发布为社区 wiki，以造福于将来可能遇到此用例的社区。请随意编辑此答案以获取更多信息。