在调用o67.load时发生错误:java.lang.NoClassDefFoundError:orgapachehadoopfsstagingStagingDirectoryCapable。

问题描述 投票:0回答:1

场景如下。

我试图计算一个文件的记录计数 在s3位置,从EMR通过读取它的火花。

这是我得到的错误。

当调用o67.load时: java.lang.NoClassDefFoundError: orgapachehadoopfsstagingStagingDirectoryCapable.

这个错误是间歇性的,有时会出现,偶尔会正常工作。

使用的Emr版本--5.29.0。

apache-spark hadoop amazon-s3 airflow amazon-emr
1个回答
0
投票

orgapachehadoopfsstagingStagingDirectoryCapable。

这一定是EMR独有的类接口,它不在ASF代码库中。也许是克隆路径的问题

最新问题
© www.soinside.com 2019 - 2024. All rights reserved.