从我的火花应用来看,我正试图 distcp
从hdfs到s3。我的应用程序对数据进行了一些处理,并将数据写入hdfs,而这些数据我正试图通过 distcp
. 我面临以下错误。 任何指针将是有益的。
org.apache.hadoop.security.UserGroupInformation doAs -
PriviledgedActionException as: (auth:SIMPLE) cause:org.apache.hadoop.security.
Failed on local exception: java.io.IOException:
org.apache.hadoop.security.AccessControlException:
Client cannot authenticate via: [TOKEN, KERBEROS);
我已经在做knit. 使用 ugi.doAs new privilege action 来解决这个问题。