其中没有“ =”的配置单元分区表的S3文件夹结构

Question

我具有这样的现有S3文件夹结构，

s3://mydata/{country}/{date}/

• {country}可以是30个不同的国家中的任何一个

• {date}可以是自20150101起的任何日期

如何通过将{country}视为分区并将{date}视为子分区来在Hive中阅读此内容？

Answer 1

您可以使用Hive DDL语句ALTER TABLE ADD PARTITION

ALTER TABLE mydata
ADD PARTITION (country='south-africa', date='20191024')
LOCATION 's3://mydata/south-africa/20191024/';

您可以使用shell脚本编写脚本，并将每个语句像hive -e 'ALTER TABLE $TABLE ADD PARTITION $PARTITION_SPEC LOCATION $PARTITION_LOCATION'一样传递给Hive。>

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-AddPartitions