“确定DBIO文件片段的位置是什么意思……,我该如何加快它的速度?

问题描述 投票:5回答:1

[在Databricks中运行简单的SQL命令时,有时会收到消息:

确定DBIO文件片段的位置。此操作可能需要一段时间。

这是什么意思,以及如何防止它每次都必须执行此看似昂贵的操作?即使所有基础表都是增量表,也会发生这种情况。

pyspark-sql databricks
1个回答
0
投票

这是有关增量缓存的消息。它确定在哪些执行器上缓存了哪些内容,以路由任务以实现最佳的缓存位置。更频繁地优化表,以减少文件数量,会更好。

© www.soinside.com 2019 - 2024. All rights reserved.