RDD的持久性

Question

请考虑以下代码。

val rdd1 = sc.textFile("...").persist()
val rdd2 = rdd1.map(_.length).persist()
val cnt = rdd2.count()
val rdd3 = rdd1.map(_.split(" ")).persist()

rdd2.count()被调用后，rdd1是否仍然存在？还是rdd1仅在调用动作后才保留？

Answer 1

rdd1在rdd2.count操作期间保持不变。您可以检查spark ui，以便更好地了解DAG