从 Databricks 文件系统加载 joblib/pickle 文件

Question

我有一个问题：我看不到从 spark 之外的 dbfs（数据块文件系统）加载对象（我可以使用 spark 加载数据，但不能使用 pandas）。

我们要加载的对象是joblib和pickled文件。

corps_encoder = "/dbfs:/mnt/xxxx/encoders/corpsEncoder.joblib"

corpsEncoding = joblib.load(f'/dbfs:/mnt/xxxx/encoders/corpsEncoder.joblib')

这里是错误信息：

FileNotFoundError: [Errno 2] No such file or directory: '/dbfs:/mnt/xxxx/encoders/corpsEncoder.joblib'
---------------------------------------------------------------------------
FileNotFoundError                         Traceback (most recent call last)
<command-2364347171462503> in <module>
      1 #corps_encoder = "/dbfs:/mnt/xxxx/encoders/corpsEncoder.joblib"
----> 2 corpsEncoding = joblib.load(f'/dbfs:/mnt/xxxx/encoders/corpsEncoder.joblib')

/databricks/python/lib/python3.8/site-packages/joblib/numpy_pickle.py in load(filename, mmap_mode)
    575             obj = _unpickle(fobj)
    576     else:
--> 577         with open(filename, 'rb') as f:
    578             with _read_fileobject(f, filename, mmap_mode) as fobj:
    579                 if isinstance(fobj, str):

FileNotFoundError: [Errno 2] No such file or directory: '/dbfs:/mnt/xxxx/encoders/corpsEncoder.joblib'

知道如何在 db 上加载这种类型的文件吗？

Answer 1

我今天遇到了同样的问题。您的管理员需要为您设置配置才能加载 DBFS 文件。 这是参考。我不知道为什么，但默认情况下它没有打开 https://docs.databricks.com/administration-guide/workspace/settings/dbfs-browser.html