从 ADLS 在 Unity Catalog 共享集群上安装wheel包

Question

我尝试使用 Databricks Terraform 提供程序在 Databricks 集群上安装存储在 Azure Data Lake Storage 中的 whl 库。我无法先挂载容器，因为集群处于 Unity Catalog 的共享模式。

ADLS 连接详细信息已在集群配置的 Spark_conf 部分中正确配置。

如何配置 databricks_library 资源以正确安装自定义库？ Databricks Terraform 提供商支持此方法吗？

我使用的文档：（https://registry.terraform.io/providers/databricks/databricks/latest/docs/resources/library）

我尝试使用以下配置（此配置专用于 DBFS，但在提供商的文档中没有使用未安装的 ADLS 的示例）：

resource "databricks_library" "databricks_adls_lib" {
  cluster_id = module.<cluster_resource>.cluster_id
  whl        = "abfss://<container>@<ADLS_name>.dfs.core.windows.net/<wheel_library>.whl"
}

我收到的错误看起来像是 Terraform 正在尝试首先挂载 abfss。

Error: Method public com.databricks.backend.daemon.dbutils.DBUtilsCore$Result com.databricks.backend.daemon.dbutils.DBUtilsCore.refreshMounts() is not whitelisted on class class com.databricks.backend.daemon.dbutils.DBUtilsCore

Databricks 工作区中的手动库安装可以正常工作。

Answer 1

方法工作正常。我还没有清除 tfstate 之前的错误检查，这就是它导致错误的原因。