按日期时间分区Google BigQuery进行分区

Question

情况：我想在Google BigQuery表上加载~5B记录。我有一个名为'date_time'的字段，用于描述记录日期时间（从2012年到今天）。我想在这个字段上对BigQuery表进行分区。

复杂：我将所有记录都流式传输到BigQuery表，看起来BigQuery只接受过去12个月的记录。

问题：我已阅读说明书（https://cloud.google.com/bigquery/docs/partitioned-tables），但我仍然不明白如何以允许在“date_time”字段上进行分区/索引的方式来传输数据。

Answer 1

当前流限制在此link中定义

您可以在过去1年和未来6个月之间传输数据。超出此范围的数据将被拒绝。当数据流传输时，将过去7天和将来3天之间的数据放入流缓冲器中，然后将其提取到相应的分区。此窗口之外的数据（但在1年，6个月范围内）放在UNPARTITIONED分区中。当有足够的未分区数据时，它会被加载到相应的分区。

正如@Felipe在answer中所建议的那样，您应该将数据流式传输到非分区表并使用复制/加载操作将其移动到分区表

注意：您只需支付流媒体插入费用，因此这种解决方法不会产生额外费用