计算统计 IMPALA 结果导致 DiskErrorException

Question

我正在尝试通过 IMPALA（在 ClouderaDataPlatform 上）在我的一个表上执行计算统计信息 (

COMPUTE STATS db.table;

)，但仅对于此表，我遇到以下错误：

RuntimeIOException: 
Failed to create file: s3a://<my-bucket>/<my-path>/<db_name>.db/<table_name>/metadata/<uuid>.metadata.json
CAUSED BY: 
DiskErrorException: Could not find any valid local directory for s3ablock-0001- 
with requested size 67108864 as the max capacity in any directory is 0

在寻找解决方案时，我发现的唯一链接涉及 spark、kafka、hadoop 或某些变体，从中我找不到类似于我的情况。

我知道这可能是由于需要正确配置的简单设置，甚至可能是权限问题（值得怀疑），但我无法弄清楚可能涉及哪个设置。

任何帮助将不胜感激。

impalad version 4.0.0.7.2.17.200-29

Answer 1

可以使用 hadoop 文档，因为 s3a 连接器来自该代码库。特别是故障排除 s3a 部分

Could not find any valid local directory for s3ablock-0001- 
with requested size 67108864 as the max capacity in any directory is 0

其中之一

• 您没有磁盘空间

• fs.s3a.buffer.dir

  无效。它必须是本地 fs 目录的非空列表；例如

  /tmp/s3a