现有的firestore收集数据到bigQuery中

问题描述 投票:0回答:2

我的 cloud firestore 集合中有 100 个文档。我正在使用 firebase 扩展 Stream Collections to BigQuery 将数据导入 google bigQuery。我想使用 firebase 扩展 Stream Collections to BigQuery 将现有集合文档导入到 bigQuery 中。 bigQuery 中的原始变更日志表仅获取该集合的创建和更新数据,但仍然无法访问 bigQuery 中的现有文档。

请帮助我提供一些解决方案。谢谢

firebase google-cloud-firestore google-bigquery
2个回答
1
投票

来自 Stream Collections to BigQuery 扩展的 Firebase 文档:

回填您的 BigQuery 数据集

此扩展程序仅发送已更改的文档内容 - 它不会将现有文档的完整数据集导出到 BigQuery。因此,要使用集合中的所有文档回填 BigQuery 数据集,您可以运行此扩展提供的导入脚本

重要提示:安装此扩展后,请在整个集合上运行导入脚本,否则导入期间对数据库的所有写入都可能会丢失。


0
投票

安装名为 Firefoo 的 Firestore 扩展。然后,编写一个查询来更新字段。例如:

async function run() {
 const query = await db.collection("users").get();
  for (const doc of query.docs) {
   await doc.ref.update({
     yourFieldName: "your content"
   });
  };
 }

将 yourFieldName 替换为您的字段名称。 当您在 Firefoo 中执行此查询时,将发生更新触发器,并且所有正在更新的数据将作为更新操作的一部分发送到 BigQuery。

© www.soinside.com 2019 - 2024. All rights reserved.