ABFS hadoop-azure AzureBlobFileSystem.listStatus(path)对于条目太多的目录花费太多时间(不返回)

问题描述 投票:0回答:2

我正在使用hadoop-azure访问Azure blob文件系统(ABFS)实例,特别是当我尝试列出特定路径中的所有文件/目录时,它通常可用于文件/目录数量有限的普通目录。 >

我发现路径中包含太多条目(数千个),方法AzureBlobFileSystem.listStatus(path)从不返回。

当文件/目录数量不多时,效果很好。我想知道是否可以解决此问题,我是否可以增强或配置此列表以使其更快或更有效。是否有任何hadoop配置要使用?

[我正在使用hadoop-azure访问Azure blob文件系统(ABFS)实例,特别是当我尝试列出特定路径中的所有文件/目录时,它对于带有...的普通目录通常可以正常使用...

java azure hadoop azure-storage-blobs
2个回答
0
投票
提交有关apache JIRA的错误报告; hadoop模块。提供有关目录结构的更多详细信息。和hadoop版本。这可能是HADOOP-16269。。

0
投票
@@ Mahmoud,能否请您分享尝试进行这些操作的帐户名称?
© www.soinside.com 2019 - 2024. All rights reserved.