如何将Spark RDD保存到本地文件系统

Question

我可以使用

saveAsTextFile

语法将文件保存到本地系统吗？ 这就是我编写保存文件的语法的方式：

insert_df.rdd.saveAsTextFile("<local path>")

当我尝试执行此操作时，我收到错误，因为没有权限，但我拥有该特定本地路径的所有权限，看起来它将该文件视为 HDFS 文件。

Answer 1

我认为你应该尝试

"file:///local path"

而不是

"/local path"

。

Answer 2

以下代码运行良好：

  val outputFilePath = "file:////home/opsdev/SDG/output/"

  DF.repartition(1)
    .write.mode.option("sep", "|")
    .option("header", "true")
    .option("escape", "\"")
    .option("quoteAll", "true")
    .csv(outputFilePath)

不要忘记以本地模式运行。