将 Drill 版本升级到 > 1.14.0 时出现异常 NoClassDefFoundError JniBasedUnixGroupsMapping

问题描述 投票:0回答:0

对于安装在 Hadoop EMR 核心节点上的 Drill 集群,我们使用基于 PAM 的身份验证。这是下面的配置。

security.user.auth: {
            enabled: true,
            packages += "org.apache.drill.exec.rpc.user.security",
            impl: "pam4j",
            pam_profiles: [ "sudo", "login" ]
     }

我们通过YARN运行我们的作业,其中纱线应用程序与drillbits建立jdbc连接并生成结果。 Drill+Yarn 作业在 1.6.0 上运行良好。

我们尝试将钻头升级到1.14.0及更高版本,开始看到如下异常。尽管在所有情况下,普通的 JDBC sqlline 连接都很好。只有 Yarn 应用程序失败。

当禁用 'security.user.auth' 时,Yarn 作业正常。

异常

由以下原因引起:java.lang.RuntimeException:java.lang.reflect.InitationTargetException 在 oadd.org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:134) 在 oadd.org.apache.hadoop.security.Groups.(Groups.java:79) 在 oadd.org.apache.hadoop.security.Groups.(Groups.java:74) 在 oadd.org.apache.hadoop.security.Groups.getUserToGroupsMappingService(Groups.java:303) 在oadd.org.apache.hadoop.security.UserGroupInformation.initialize(UserGroupInformation.java:283) 在oadd.org.apache.hadoop.security.UserGroupInformation.setConfiguration(UserGroupInformation.java:311) 在 oadd.org.apache.drill.exec.rpc.security.plain.PlainFactory.createAndLoginUser(PlainFactory.java:63) 在oadd.org.apache.drill.exec.rpc.user.UserClient.prepareSaslHandshake(UserClient.java:452) 在 oadd.org.apache.drill.exec.rpc.ConnectionMultiListener$HandshakeSendHandler.success(ConnectionMultiListener.java:160) ... 33 更多 引起原因:java.lang.reflect.InitationTargetException 在 sun.reflect.NativeConstructorAccessorImpl.newInstance0(本机方法) 在 sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) 在 sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) 在 java.lang.reflect.Constructor.newInstance(Constructor.java:423) 在 oadd.org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:132) ... 41 更多 引起原因:java.lang.NoClassDefFoundError:无法初始化类oadd.org.apache.hadoop.security.JniBasedUnixGroupsMapping 在 oadd.org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback。(JniBasedUnixGroupsMappingWithFallback.java:39) ... 46 更多

电子病历版本5.36.1 请告诉我们更多信息

hadoop hadoop-yarn amazon-emr apache-drill
© www.soinside.com 2019 - 2024. All rights reserved.