boto3会导致EMRFS元数据不一致吗？

Question

我使用boto3 SDK在EMR集群中运行python脚本，并启用了一致视图。我正在尝试调试一个异常，并出现以下错误信息。Exception while invoking ConsistencyCheckerS3FileSystem.mkdirs over null

我的问题是，boto3会不会导致EMRFS元数据的不一致？当我们从EMR执行时，是否应该一直使用hadoophdfs命令而不是boto3来复制删除s3文件夹？

Answer 1

是的，是的。 boto3会造成不一致。即使是AWS CLI。

你需要手动 同步 每次复制删除操作后，元数据都会被同步。

使用HDFS命令emrfs将同步。