从Azure Databricks读取Azure Datalake Gen2图像

Question

正在处理存储在Azure Data Lake Gen2中的.tif文件。想要使用Azure Databricks的rasterio打开此文件。

示例：

[当以spark.read.format("image").load(filepath)的形式从Data Lake读取图像文件时，工作正常。

但尝试打开与之相同>>

with rasterio.open(filepath) as src:
    print(src.profile)
获取错误：

RasterioIOError: wasbs://xxxxx.blob.core.windows.net/xxxx_2016/xxxx_2016.tif: No such file or directory
任何线索做错了什么？

更新：

根据Axel R的建议，在Databricks文件系统上安装了文件，但是仍然出现相同的问题，无法从rasterio打开文件，但是可以读取为df。

还尝试通过在Datalake中为文件创建共享访问签名，并尝试通过URI访问文件。现在出现错误以下的错误：

CURL error: error setting certificate verify locations:   CAfile: /etc/pki/tls/certs/ca-bundle.crt   CApath: none

正在处理存储在Azure Data Lake Gen2中的.tif文件。想要使用Azure Databricks中的rasterio打开此文件。示例：当从Data Lake中以spark.read.format（“ ...

Answer 1

我相信是因为rasterio使用本地API，并且只能从以/ dbfs /开头的路径读取。