当试图将数据帧火花保存到一个hdfs文件时出现错误。

Question

im使用ubuntu

当我试图将一个数据帧保存到HDFS(spark scala)：procesed.write.format("json").save("hdfs:/localhost:54310mydataenedisPOCprocessed.json")

我得到了这个错误

原因是：org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException)。Permission denied: user=root, access=WRITE, inode="mydataenedisPOC":hadoop_amine:supergroup:drwxr-xr-x。

Answer 1

你正试图将数据写成 root 用户，但hdfs目录(mydataenedisPOC)有权限进入。hadoop_amine 用户写入该目录。

改变 权限 在HDFS目录下，允许 root 用户写入 /mydata/enedis/POC 目录。

#login as hadoop_amine user then execute below command
hdfs dfs –chmod -R 777  /mydata/enedis/POC

---

(Or)

在初始化spark shell时，使用 hadoop_amine 用户，那么就不需要改变目录的权限。