如何确定 Databricks Apache Spark 上是否已安装函数

Question

我们遇到了极其缓慢的 Databricks SQL 查询。我发现一个网站提供了许多 Spark SQL 优化调优技术

https://www.linkedin.com/pulse/spark-sql-performance-tuning-configurations-vignesan-saravanan-8hamc/

链接中描述的许多建议表明这些特性/功能已默认启用。例如，默认情况下启用 Spark 基于成本的优化器。但是，它还提到，如果未启用，您可以通过运行以下命令来启用它：

spark.conf.set("spark.sql.cbo.enabled", true)

我的问题是

1. 如何确定该特性/功能已启用
2. 该特性/功能是否适用于 Databricks SQL 笔记本而不是 Databricks Python 笔记本？

Answer 1

1-您可以通过调用 get 方法来测试某个功能是否启用。 Spark.conf.getAll，（spark.sql.cbo.enabled 在我的运行时中不存在）。

2- 是的，此功能将在笔记本运行的集群中激活，因此它会在两者中激活，您也可以在创建集群时在 Spark 配置中激活此功能（在高级选项中）。