我在 GCS 存储桶中以 CSV 格式存储了电子商务产品详细信息。每个文件包含单个产品的属性。此类文件的数量约为 40 亿个。
我计划使用 BigQuery 外部表来查询数据。
当我测试 1000 万个这样的文件时，它起作用了。我的问题是，当文件数量高达40亿时，它还能用吗？即使需要时间（15-30分钟）也没关系。
如果我们不使用 BigQuery 外部表，还有哪些推荐的数据查询选项？
我们使用 GCP 工作流程将文本文件加载到 BQ 表中。可以通过在存储桶中创建文件来触发工作流程，然后将文件名传递给导入方法并可以加载文件：