使用requirements.txt中的凭据安装私有包

Question

我想要一个私人包裹

%pip install -r /dbfs/requirements.txt

在这个requirements.txt中给出：

git+https://<user>:$token@<gitprovider>.com/<path/to/repo>

如果我在requirements.txt中提供用户和令牌，它就像一个魅力，但我想通过dbutils.secrets传递用户和令牌。这可以在不修改requirements.txt的情况下实现吗？

我认为可以创建环境变量，但这对我不起作用。

%env GIT_USERNAME= ...
%env GIT_TOKEN= ...

Answer 1

方法是使用python

1. 获取信息
2. 将信息存储在临时文件中，这样就不会在运行日志或运行后的记录中找到其详细信息
3. 奔跑

import dbutils

username = dbutils.secrets.get(scope="your_scope", key="git_username")
token = dbutils.secrets.get(scope="your_scope", key="git_token")

repo_url = f"git+https://{username}:{token}@gitprovider.com/path/to/repo"

requirements_path = "/dbfs/tmp/requirements.txt"

with open(requirements_path, "w") as file:
    file.write(repo_url + "\n")

dbutils.notebook.run("%pip install -r " + requirements_path, 60)