totoDF（）不受支持

Question

我对Scala非常陌生。我正在尝试将Iterable[dataSet[Row]]转换为数据框。它对我不起作用。这是代码

def execute(spark: SparkSession,
          input: Iterable[Dataset[Row]],
          execParams: Map[String, String]): Dataset[Row] = {

val spark: SparkSession = SparkSession.builder.master("local").getOrCreate
val sparkSession: SparkSession = SparkSession.builder().getOrCreate()
import sparkSession.implicits._

val jsonSeq = Seq(input)
val jsonRDD = sparkSession.sparkContext.parallelize(jsonSeq)
val jsonDF = jsonRDD.toDF()
}

Answer 1

您可以先转换为Dataset，然后转换为Dataframe

def execute(spark: SparkSession,
          input: Iterable[Dataset[Row]],
          execParams: Map[String, String]): Dataset[Row] = {
    import spark.implicits._

    val jsonSeq = Seq(input)
    val jsonRDD = spark.sparkContext.parallelize(jsonSeq)
    val jsonDF = spark.createDataset(jsonRDD).toDF()
}