[在Youtube上有一个古老的演讲(2014年),演讲者在Databricks笔记本中直观地查看了一个查询计划。这是屏幕截图:
我正在使用databricks运行时5.5 LTS ML,并且每当我尝试在查询计划上调用viz
时,都会出现这种错误:
error: value viz is not a member of org.apache.spark.sql.catalyst.plans.logical.LogicalPlan
Spark 2.0+中是否已弃用此功能,或者我需要安装/导入其他库才能获得此功能?
我不认为它已经有了可视化,但是它们确实解释了SQL查询,我认为这就是您想要的。
spark.sql("your SQL query").explain(true)
或
yourDataframe.explain(true)