获得从CDH Hadoop群集连接到S3的“对等未认证”异常

Question

我正在尝试在Hadoop CDH群集上运行hadoop作业，并且当Hadoop作业尝试从S3存储桶读取数据时，出现以下错误。看起来它正在尝试通过SSL连接。有什么方法可以显式禁用SSL连接？

javax.net.ssl.SSLPeerUnverifiedException: peer not authenticated
at com.sun.net.ssl.internal.ssl.SSLSessionImpl.getPeerCertificates(SSLSessionImpl.java:352)
at com.cloudera.org.apache.http.conn.ssl.AbstractVerifier.verify(AbstractVerifier.java:126)
at com.cloudera.org.apache.http.conn.ssl.SSLSocketFactory.connectSocket(SSLSocketFactory.java:437)

Answer 1

显然，在core-site.xml中设置以下属性解决了该问题。连接到Amazon S3时，这将禁用SSL连接。参考：有关更多详细信息，请查看General S3A Client configuration部分。

 <property>
    <name>fs.s3a.connection.ssl.enabled</name>
    <value>false</value>
  </property>

更新：在我的情况下，我将rhel-6.6与Cloudera Manager (CM) 5.6.0一起使用，当我将rhel更新为rhel-6.10时，我开始看到上述错误。出现此错误的原因是，根据Cloudera Manager and OS Compatibility list，rhel-6.10与Cloudera Manager 5.6.0不兼容。因此，我必须升级Cloudera Manager to 5.11.0才能解决上述问题。