将数据从Firestore加载到BigQuery的适当方法是什么？

Question

我正在研究几种从Firestore导出数据的方法，而不使用BigQuery和Data Studio中的导出（长期昂贵的操作，因为它不支持增量备份）。

1）使用Google Pub / Sub。这可能需要函数来写入pub / sub然后另一个触发到BQ。

2）使用云函数从onCreate事件触发，直接写入BigQuery数据集和表。 （这是使用table.insert）

使用Pub / Sub的优势是什么 - 除了它看起来长期成本会更高？

还是有其他方式我不知道这样做？

我是新来的。我们非常感谢上述场景的一些建议和利弊。

Answer 1

官方的解决方案是here。

如果使用云功能从onCreate事件触发，您将创建什么？在云存储上创建文件或创建Firestore文档？

我认为在使用云功能的情况下，您应该使用PubSub触发器。

我推荐像Pub / Sub这样的异步架构。因为重新运行很容易，影响范围有限。

我开发的样本是here。我正在使用Cloud Scheduler而不是cron.yaml。 Cloud Scheduler的成本是here。

1. （如果需要）将Firebase身份验证用户导出到Cloud Firestore Collection。使用Firestore，云功能（PubSub）和Cloud Scheduler。
2. 将所有Cloud Firestore集合和指定集合导出到云存储。使用AppEngine和Cloud Scheduler。
3. 将指定的Cloud Firestore集合导出到BigQuery（作为分区表）。使用AppEngine和Cloud Scheduler。