使用abfss路径从结构工作区获取表列表

Question

我目前正在尝试利用 ABFS（Azure Blob 文件系统）路径从位于单独工作区的 Lakehouse 中检索表列表。尽管我付出了努力，但迄今为止我所使用的代码尚未产生预期的结果。我现在正在考虑这个任务是否可行。代码示例如下所示。

olspath = "abfss://path................"




#df=spark.read.format('delta').load(olspath)
#df=spark.read.load(olspath)
df=spark.read.schema(olspath)
#df.write.mode("overwrite").format('delta').save("Tables/"+"Account")
df.show()

Answer 1

使用

dbutils

您可以获取表格路径，通过检查它们是否是增量来获取表格。

dbutils.fs.ls("<Your_abfss_path>")

代码：

from delta.tables import *
files = dbutils.fs.ls("Your_abfss_path")
print(f"Tables in given path")
for i in files:
    if DeltaTable.isDeltaTable(spark,i[0]):
        DeltaTable.forPath(spark,i[0]).toDF().show()

在奥内莱克