BigQuery + Amazon Athena + Presto:分区和列的数量限制

问题描述 投票:0回答:1

基于Google BigQuery文档,BigQuery具有以下限制(https://cloud.google.com/bigquery/quotas):

1)每个分区表的最大分区数-4,000。

2)表,查询结果或视图定义中的最大列数-10,000

基于Amazon Athena文档:(https://docs.aws.amazon.com/athena/latest/ug/service-limits.html):

每个分区表的最大分区数-20,000

AWS Athena或Presto的列数是否有硬性限制?

谢谢!

presto amazon-athena
1个回答
3
投票

AWS Athena或Presto的列数是否有硬性限制?

不幸的是,我无法回答AWS Athena,但是我可以回答Presto。

不,列数没有明确的硬性限制。 理论上,您受到可用内存和Java中集合最大大小的限制。

但是,实际上,当您的列数超过1万时,您会经历更多的计划时间。使用更多的列数(可能大约100k或更多),您将在为处理查询而生成的类中达到JVM字节代码长度限制。

© www.soinside.com 2019 - 2024. All rights reserved.