这个问题在这里已有答案:
我有一个GPS数据:
t lat long
0 27 28
5 27 28
10 27 28
15 29 49
20 29 49
25 27 28
30 27 28
我想计算两个lat-long之间的半径距离,只有当它们的值不同时。我做的事情是,创建一个udf来计算相同的:
def distanceTo(lat:Double,long:Double,lag_lat:Double,lag_long:Double): Double = {
val lat1 = math.Pi / 180.0 * lat
val lon1 = math.Pi / 180.0 * long
val lat2 = math.Pi / 180.0 * lag_lat
val lon2 = math.Pi / 180.0 * lag_long
// Uses the haversine formula:
val dlon = lon2 - lon1
val dlat = lat2 - lat1
val a = math.pow(math.sin(dlat / 2), 2) + math.cos(lat1) * math.cos(lat2) * math.pow(math.sin(dlon / 2), 2)
val c = 2 * math.atan2(math.sqrt(a), math.sqrt(1 - a))
val meters = 6372.8 * c * 1000
meters
}
我做的步骤,将函数注册为udf并使用它得到一个半字距离列:
val udf_odo = udf[Double,Double,Double,Double,Double](distanceTo)
val stoppage_df=lag_df
.withColumn("re_odo", udf_odo(col("lat"), col("long"),col("lag_latitude"), col("lag_longitude")))
但我希望只有在lat-long存在差异时才应调用此函数,否则列应该为0。
您的病情在问题中不明确。但是,您可以使用“when”子句并在其中指定您的条件。见下文:
val stoppage_df=lag_df.withColumn("re_odo", when(<condition>, udf_odo(col("lat"),
col("long"),col("lag_latitude"), col("lag_longitude")))
.otherwise(0));
我建议您参考link,了解有关根据条件执行色谱柱操作的更多详细信息。