Spark错误：“ ERROR Utils：删除Spark temp dir时发生异常：”

Question

编辑：根据要求添加详细信息

虽然在Windows 7 64bit上以管理员模式在本地运行用Scala编写的简单Spark代码，但执行总是以如下所述的错误结束。代码不会在抛出错误之前按预期方式写入输出（saveAsTextFile）。

（（基于google搜索，其他人也有同样的问题，但按照另一块面板上的建议在代码末尾添加sc.stop()则无济于事。）

代码：

import org.apache.spark.SparkContext
import org.apache.spark.SparkConf

object Test {
    def main(args: Array[String]) { 
        System.setProperty("hadoop.home.dir", "C:/prog/winutil/")   
        val inputFile1 = "./textinput.txt" 

        val conf = new SparkConf().setAppName("Testing")
        val sc = new SparkContext(conf)

        val data = sc.textFile(inputFile1)      

        val outputFile = "./output"
        data.saveAsTextFile(outputFile)

        sc.stop()       
    }
}

和错误消息：

ERROR Utils: Exception while deleting Spark temp dir: [userpath]\AppData\Local\Temp\spark-a790ba3f-af1e-4d2b-80e8-4085caaad04b\userFiles
-904e004e-4ca2-43a8-8689-684cc401b827
java.io.IOException: Failed to delete: [userpath]\AppData\Local\Temp\spark
-a790ba3f-af1e-4d2b-80e8-4085caaad04b\userFiles-904e004e-4ca2-43a8-8689-684cc401
b827
        at org.apache.spark.util.Utils$.deleteRecursively(Utils.scala:933)
        at org.apache.spark.util.Utils$$anon$4$$anonfun$run$1$$anonfun$apply$mcV
$sp$2.apply(Utils.scala:181)
        at org.apache.spark.util.Utils$$anon$4$$anonfun$run$1$$anonfun$apply$mcV
$sp$2.apply(Utils.scala:179)
        at scala.collection.mutable.HashSet.foreach(HashSet.scala:79)
        at org.apache.spark.util.Utils$$anon$4$$anonfun$run$1.apply$mcV$sp(Utils
.scala:179)
        at org.apache.spark.util.Utils$$anon$4$$anonfun$run$1.apply(Utils.scala:
177)
        at org.apache.spark.util.Utils$$anon$4$$anonfun$run$1.apply(Utils.scala:
177)
        at org.apache.spark.util.Utils$.logUncaughtExceptions(Utils.scala:1618)
        at org.apache.spark.util.Utils$$anon$4.run(Utils.scala:177)

Answer 1

我在使用saveAsParquetFile保存镶木地板之前在RDD上移动count（）和take（）语句后为我修复。因此，在调用saveAsParquetFile之前，请尝试移动任何rdd.take（）。