使用Kafka Connect GCP BigQuery接收器连接器进行表分区

问题描述 投票:0回答:1

民间,

我正在使用融合连接器在BigQuery中进行数据传输。对于每个事件,我都创建了一个Avro模式,该模式将在BigQuery中进行解释。是否可以将任何事件字段定义为表分区?

它当前正在使用_PARTITIONTIME隐藏字段,但我需要将其用作实际事件的字段,例如,以便于处理重复项。

google-bigquery avro confluent confluent-schema-registry
1个回答
0
投票

您可以partition by one of your Date or Timestamp columns。此外,integer range partitioned tables还具有Beta功能,可以按整数列进行分区。

© www.soinside.com 2019 - 2024. All rights reserved.