在 Databricks 集群上“永久”安装多个库

Question

我使用多个库，目前我在每个笔记本命令中运行

pip install x y z

来使用它们。当我在多个笔记本中这样做时，这不是最方便的方法，并且在集群启动时自动安装库是有意义的。这可以通过在集群配置中指定预安装的列表来实现。

但是，当我进入配置并选择 PyPi 时，一次只能选择一个库。因此，对于每个库，我需要单独打开选择屏幕，写入名称，保存，然后对其余库执行相同的操作。有没有办法像 pip 那样提供列表

pandas==xx numpy==xx ...

？

Answer 1

您可以创建一个文本文件来列出您的包要求。我创建了 Sparklibs.txt ，内容如下：

pandas==1.3.3
numpy==1.21.2
requests==2.7.0
selenium==3.4.3
Flask==0.10.1
retrying==1.3.3

在 Sparklibs.txt 中，每个包要求应在新行中列出，并指定包名称和版本。

然后可以将该文件与

pip install -r Sparklibs.txt

命令一起使用来安装所有列出的包及其依赖项。

%pip install -r /dbfs/FileStore/tables/Sparklibs.txt

结果：

参考： SO 链接