从 Azure databricks 连接到 Azure 表存储

Question

我正在尝试从 Databricks 连接到 azure 表存储。我似乎找不到任何不进入 blob 容器的资源，但我尝试修改表的资源。

spark.conf.set(
  "fs.azure.account.key.accountname.table.core.windows.net",
  "accountkey")

blobDirectPath = "wasbs://accountname.table.core.windows.net/TableName"

df = spark.read.parquet(blobDirectPath)

我现在假设表格是镶木地板文件。我现在收到此代码的身份验证错误。

Answer 1

根据我的研究，Azure Databricks不支持Azure表存储的数据源。有关更多详细信息，请参阅https://learn.microsoft.com/en-gb/azure/databricks/external-data/。

此外，如果您仍然想使用表存储，可以使用 Azure Cosmos DB Table API。但它们有一些区别。有关更多详细信息，请参阅 https://learn.microsoft.com/en-us/azure/cosmos-db/faq#where-is-table-api-not-identical-with-azure-table-storage-行为。