有人可以解释下面的代码片段中发生了什么吗？我试图理解下面的Scala代码

Question

import org.apache.spark.sql.functions._

def expr(myCols: Set[String], allCols: Set[String]) =
  allCols.toList.map {
    case x if myCols.contains(x) => col(x)
    case x => lit(null).as(x)
  }

Answer 1

此方法返回Columns的列表，当您使用此列表从数据框中选择列时，某些列设置为null。

allCols应包含数据帧的所有列，而myCols应包含要保留的列。 myCols中未包含的所有其他列将被设置为null：

val df = spark.createDataFrame(Seq((1,2,3),(4,5,6),(7,8,9))).toDF("a","b","c")
df.show
val columns = expr(Set("a"), df.columns.toSet)
df.select(columns:_*).show

将打印

 +---+---+---+
|  a|  b|  c|
+---+---+---+
|  1|  2|  3|
|  4|  5|  6|
|  7|  8|  9|
+---+---+---+

+---+----+----+
|  a|   b|   c|
+---+----+----+
|  1|null|null|
|  4|null|null|
|  7|null|null|
+---+----+----+