在 Athena 中创建具有自动加载分区的表

Question

我创建了这样的表格：

CREATE EXTERNAL TABLE IF NOT EXISTS my_table (
  `id` string COMMENT '', 
  `source` string COMMENT '', 
  `os` string COMMENT '')
PARTITIONED BY ( 
  `date` string COMMENT '')
STORED AS PARQUET
LOCATION 's3://.....';

但是每次操作这张桌子时我都必须点击

LOAD PARTITION

。是否可以自动加载该表的分区？

Answer 1

您可以在 Athena 表中使用分区投影，它会自动处理分区。

创建表时必须使用 tblproperties。

假设您有 2020-01-01 的分区，然后在创建表语句中扩展此查询。

TBLPROPERTIES
 (
     "projection.enabled" = "true",
     "projection.date.type" = "date",
     "projection.date.format"="yyyy-DD-mm",
     "projection.date.range"="2010-01-01,NOW"
    
 )

您可以点击此链接了解更多--

Athena 中的分区投影