将分区添加到配置单元中的外部表需要很多时间

问题描述 投票:2回答:1

我想知道将分区添加到外部表的最佳可能方法是什么。我在S3的蜂巢中有一个外部表,分区为车辆= /日期= /小时=


现在可以在一天中的任何时间添加新车辆,并且一天中有几个小时或几天之内不会有数据的车辆。

几乎没有解决方案-msck reapir表:这需要很多时间-通过脚本添加分区:我可能不知道何时创建新车辆或车辆的哪个小时数据不存在

人们通常如何解决将分区添加到外部表的问题

hive partition hive-partitions
1个回答
1
投票

msck reapir table是执行此操作的正确方法。如果运行太慢,请尝试关闭统计信息自动收集之前修复表:

set hive.stats.autogather=false;

您可以在恢复分区后再次启用它。

[很可能是您遇到了HIVE-18743或相关错误。就我而言,这有所帮助。

© www.soinside.com 2019 - 2024. All rights reserved.