在Azure Databricks上安装gdal时出错

Question

正在处理光栅文件，需要打包。尝试在Azure Databricks上安装会引发以下错误。有关如何在Databricks上安装此程序的任何线索

使用缓存的GDAL-3.0.4.tar.gz（577 kB）收集gdal，错误：命令错误，退出状态为1：命令：/databricks/python3/bin/python3.7 -c'import sys，setuptools，tokenize ; sys.argv [0] ='“'”'/tmp/pip-install-i3yomji8/gdal/setup.py'“'”'; file ='“'”'/ tmp / pip-install-i3yomji8 / gdal / setup.py'“'”'; f = getattr（tokenize，'“'”'open'“'”'，open）（文件） ; code = f.read（）。replace（'“'”'\ r \ n'“'”'，'“'”'\ n'“'”'）; f.close（）; exec（compile（代码，文件，'“'”'exec'“'”'）））egg_info --egg-base / tmp / pip-install-i3yomji8 / gdal / pip-egg-info cwd：/ tmp / pip-install-i3yomji8 / gdal /完整输出（72行）：运行egg_info创建/tmp/pip-install-i3yomji8/gdal/pip-egg-info/GDAL.egg-info编写/ tmp / pip-install-i3yomji8 / gdal / pip-egg -info / GDAL.egg-info / PKG-INFO将dependency_links写入/tmp/pip-install-i3yomji8/gdal/pip-egg-info/GDAL.egg-info/dependency_links.txt，将顶级名称写入/ tmp / pip-install-i3yomji8 / gdal / pip-egg-info / GDAL.egg-info / top_level.txt写入清单文件'/tmp/pip-install-i3yomji8/gdal/pip-egg-info/GDAL.egg-info/ SOURCES.txt'追溯（最近一次通话最后一次）：文件“ /tmp/pip-install-i3yomji8/gdal/setup.py”，第151行，位于fetch_config中p = subprocess.Popen（[command，args]，stdout = subprocess .PIPE）文件“ /usr/lib/python3.7/subproce ss.py“，第775行，init restore_signals，start_new_session）文件“ /usr/lib/python3.7/subprocess.py”，第1522行，在_execute_child中引发child_exception_type（errno_num，err_msg，err_filename）FileNotFoundError：[Errno 2]没有这样的文件或目录：'../../apps/gdal-config'：'../../ apps / gdal-config'

Answer 1

有多种方法可以在Azure Databricks中安装程序包：

Method1： Using libraries

要使第三方或本地构建的代码可用于群集中运行的笔记本和作业，您可以安装库。库可以用Python，Java，Scala和R编写。您可以上载Java，Scala和Python库，并指向PyPI，Maven和CRAN存储库中的外部软件包。

安装第三方库的步骤：

Step1：创建Databricks群集。

Step2：选择创建的集群。

Step3：选择库=>安装新=>选择库源=“ Maven” =>坐标=>搜索软件包=>选择Maven Central =>搜索所需的软件包。示例：（GDAL）=>选择所需的版本（3.0.0）=>安装

Method2：使用Cluster-scoped init scripts

集群范围内的初始化脚本是在集群配置中定义的初始化脚本。群集范围的初始化脚本适用于您创建的群集和为运行作业而创建的群集。由于脚本是群集配置的一部分，因此群集访问控制使您可以控制谁可以更改脚本。

Step1：将DBFS路径dbfs：/databricks/scripts/gdal_install.sh添加到集群初始化脚本中

# --- Run 1x to setup the init script. ---
# Restart cluster after running.
dbutils.fs.put("/databricks/scripts/gdal_install.sh","""
#!/bin/bash
sudo add-apt-repository ppa:ubuntugis/ppa
sudo apt-get update
sudo apt-get install -y cmake gdal-bin libgdal-dev python3-gdal""",
True)

[Step2：首次运行step1后，重新启动集群。

有关更多详细信息，请参见“ RasterFrames Notebook”。

希望这会有所帮助。如果您还有其他疑问，请告诉我们。