基于Google BigQuery文档,BigQuery具有以下限制(https://cloud.google.com/bigquery/quotas):
1)每个分区表的最大分区数-4,000。
2)表,查询结果或视图定义中的最大列数-10,000
基于Amazon Athena文档:(https://docs.aws.amazon.com/athena/latest/ug/service-limits.html):
每个分区表的最大分区数-20,000
AWS Athena或Presto的列数是否有硬性限制?
谢谢!
AWS Athena或Presto的列数是否有硬性限制?
不幸的是,我无法回答AWS Athena,但是我可以回答Presto。
不,列数没有明确的硬性限制。 理论上,您受到可用内存和Java中集合最大大小的限制。
但是,实际上,当您的列数超过1万时,您会经历更多的计划时间。使用更多的列数(可能大约100k或更多),您将在为处理查询而生成的类中达到JVM字节代码长度限制。