使用 Python 读取 Databricks 笔记本中的 .dbf 文件

问题描述 投票:0回答:1

我对 Databricks 和 Python 还很陌生,特别是一件事一直困扰着我 - 如果有人能够为我指出正确的方向,我将非常感激。

我正在尝试使用 dbfread 库在 Databricks 笔记本中读取一个非常简单的 DBF 文件。

我要读取的文件是“people.dbf”(来自here),dbfread 文档中的许多示例中都使用了该文件。

我已将此 DBF 文件放入 DBFS 的根目录中: file_in_dbfs

但是导入 dbfread 模块后,当我尝试读取 .dbf 文件时,出现以下错误: dbfread_error

该文件肯定存在,我可以使用 dbutils.fs.ls 看到它,如果我假装它是 CSV,我可以使用 Spark.read.csv 看到内容: works_ok_with_dbutils

我也尝试过使用其他一些 DBF 读取模块(dbf、geopandas、simpledbf)并得到完全相同的错误消息。我还尝试将文件复制到本地文件系统和外部位置 - 同样的错误。

有人知道我做错了什么吗?

python-3.x databricks azure-databricks dbf
1个回答
0
投票

在 Databricks 上处理文件时,如何在 DBFS 上访问它们取决于上下文。更详细的描述可以在这里找到。我猜它在幕后使用 os 模块来打开文件,所以我建议您尝试使用:

DBF("/dbfs/people.dbf")
© www.soinside.com 2019 - 2024. All rights reserved.