我正在使用hadoop-azure
访问Azure blob文件系统(ABFS)实例,特别是当我尝试列出特定路径中的所有文件/目录时,它通常可用于文件/目录数量有限的普通目录。 >
我发现路径中包含太多条目(数千个),方法AzureBlobFileSystem.listStatus(path)
从不返回。
当文件/目录数量不多时,效果很好。我想知道是否可以解决此问题,我是否可以增强或配置此列表以使其更快或更有效。是否有任何hadoop配置要使用?
[我正在使用hadoop-azure访问Azure blob文件系统(ABFS)实例,特别是当我尝试列出特定路径中的所有文件/目录时,它对于带有...的普通目录通常可以正常使用...