如何在Scala Spark的where子句中使用UDF

Question

我正在尝试检查数据帧中的2个双列是否相等到一定程度的精度，因此49.999999应该等于50.是否可以创建UDF并在where子句中使用它？我在Scala中使用Spark 2.0。

Answer 1

你可以使用udf，但没有必要：

import org.apache.spark.sql.functions._

val precision: Double = ???

df.where(abs($"col1" - $"col2") < precision)

udf调用将以相同的方式工作，但效率较低

df.where(yourUdf($"col1", $"col2"))

Answer 2

假设ctx是SQL上下文

ctx.udf.register("areEqual", (x: Double, y: Double, precision : Double) => abs(x-y)< prescision

然后

df.where(areEqual($"col1",$"col2",precision))