嵌套在火花中的平面地图

Question

在下面给出的代码中，我通过并行化List(1,2,3,4)来声明和rdd，我想做的是将List(1,2,3,4)追加到上述rdd的每个元素上。我是通过使用嵌套的flatMap函数来实现的，因为它可以为rdd的每个元素返回多个值。

val rand6=sc.parallelize(List(1,2,3,4))
val bv=sc.broadcast(List(5,6,7,8))
rand6.flatMap(s=>{
  val c=List(1,2,3,4)
  val a=List(s,c)
  val b=a.flatMap(r=>r)
  b
})

但我得到以下错误信息

command-1095314872161512:74: error: type mismatch;
 found   : Any
 required: scala.collection.GenTraversableOnce[?]
  val b=a.flatMap(r=>r)
                     ^

是语法的问题，还是我们不应该以这种方式使用flatMaps？

如果有人能帮助我理解这个问题，那将是非常有帮助的。

Answer 1

尽量在你的scala代码中尽可能的添加类型根据你的问题描述得出以下解决方案

import org.apache.spark.broadcast.Broadcast
import org.apache.spark.rdd.RDD

object RandomDF {

  def main(args: Array[String]): Unit = {

    val spark = Constant.getSparkSess
    val sc = spark.sparkContext
    val rand6 : RDD[Int] =sc.parallelize(List(1,2,3,4))
    val bv: Broadcast[List[Int]] =sc.broadcast(List(5,6,7,8))
    val output = rand6.map( (s : Int)=>{
      val c : List[Int] =List(1,2,3,4)
      val a = s :: c
//      val b = a.flatMap(r=>r)
//      b
      a
    }).collect().toList

    println(output)
  }

}