命名Spark上的转换并在“解释计划”和“Spark UI”中观察它们

Question

在Spark中，我们可以通过setName命名RDD并在Spark UI上查看它们。当我们使用Dataset / DataFrame API时，有什么办法可以做同样的事情吗？我们可以命名转换吗？我们能在Explain Plan和Spark UI中看到这个名字吗？

Answer 1

dataset.createOrReplaceTempView(tableName)

sparkSession.sqlContext().cacheTable(tableName)

已经jira提出来了