运行emrfs delete时出错 - 元数据“EmrFSMetadata”不存在

问题描述 投票:0回答:1

如题。

我们有stage / prod emr集群,我们可能需要通过jenkins作业在两个集群上运行emrfs delete s3_path命令。

但是,我可以在舞台emr one上成功运行emrfs delete,但在prod上失败。以下是日志:

22:54:51 Clear meta-store before loading into DW table.
22:54:51 ----------------------------------------------------------
22:54:51

22:54:51 Pseudo-terminal will not be allocated because stdin is not a terminal. 
22:54:52 19/03/23 02:54:52 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
22:54:53 EmrFsApplication.scala(91): dynamoDB endPoint = dynamodb.us-east-1.amazonaws.com
22:54:53 EmrFsApplication.scala(99): s3 endPoint = s3.amazonaws.com
22:54:53 EmrFsApplication.scala(107): sqs endPoint = sqs.us-east-1.amazonaws.com
22:54:54 Metadata 'EmrFSMetadata' does not exist

我不知道为什么EmrFSMetadata不存在于我的prod emr中?或者是否需要将特殊设置应用于产品?

谢谢。

amazon-web-services hive metadata amazon-emr
1个回答
0
投票

啊..我想我得到了答案。我们的prod emr不支持EMRFS一致视图。这就是为什么...

问题可以结束。

© www.soinside.com 2019 - 2024. All rights reserved.