如何在火花罐中使用dbutils.secrets

问题描述 投票:0回答:2

所以我现在正试图为我的Databricks开发环境设置秘密。我已经使用Databricks-cli成功设置了这些。我现在正试图在我的火花罐中使用这些(用scala编写)。但是,它需要在本地编译和在ci / cd管道中进行实时编译。

但是我找不到dbutils所在的包。

... = dbutils.secrets.get(scope = "SCOPE", key = "VARIABLE")

这是我试图实现的用例,并希望得到任何帮助!

scala azure apache-spark databricks azure-databricks
2个回答
1
投票

你试过com.databricks.dbutils_v1.DBUtilsHolder.dbutils吗?我的SBT构建有一个"com.databricks" %% "dbutils-api" % "0.0.3"依赖,似乎拉入dbutils


0
投票

在Databricks中,当jar包含业务逻辑时,每个作业都从笔记本开始,应该定义为附加到集群的库。

启动笔记本通常使用dbutils处理所有外部参数,然后调用业务逻辑代码,将密码,连接字符串等作为参数传递给函数。

所有秘密仅存储在KeyVault中。在这里你可以找到how to integrate Databricks secret scopes with KeyVault

在本地运行代码,使用Azure CLI从KeyVault检索密码,并在每次运行之前将其分配给环境变量作为准备步骤。

© www.soinside.com 2019 - 2024. All rights reserved.