Logsink到bigquery分区不工作

Question

我在文件夹级别上创建了一个日志汇，这样它就可以整齐地将所有日志流到Bigquery。在日志汇的配置中，我指定了以下选项来让日志汇流向（每日）分区。

"bigqueryOptions": {
  "usePartitionedTables": true,
  "usesTimestampColumnPartitioning": true # output only
}

根据... bigquery文档 和 大查询资源类型我以为这样做会自动创建分区，但它没有。我用下面的查询验证了它没有创建分区。

#LegacySQL
SELECT table_id, partition_id from [dataset1.table1$__PARTITIONS_SUMMARY__];

给我的是：

[
  {
    "table_id": "table1",
    "partition_id": "__UNPARTITIONED__"
  }
]

我是不是遗漏了什么？它应该是按日期来分区的。

Answer 1

问题是，我没有等待足够长的时间让第一个分区成为活动状态。基本上，日志汇流的数据是未分区的。过了一会儿，数据被按日期分区，只有在几个小时后才会看到今天的分区。问题解决了!

[
  {
    "table_id": "table1",
    "partition_id": "__UNPARTITIONED__"
  },
  {
    "table_id": "table1",
    "partition_id": "20200510"
  },
  {
    "table_id": "table1",
    "partition_id": "20200511"
  }
]