我尝试过下面的代码,它给我-55作为上面2个time_stamps之间的差。它应该给我5分钟。是否有任何直接功能可以在pyspark中获得正确的时差。df.withColumn(“ time_diff”,F.minute(“ time_stamp”)-F.minute(“ time_stamp2”))] >>
没有给我正确答案。请帮助
我尝试过下面的代码,它给我-55作为上面2个time_stamps之间的差。它应该给我5分钟。是否有任何直接功能可以在pyspark中获得正确的时差。 df ....
您可以使用以下功能来获取以秒为单位的时差:
您可以尝试这个吗?>
import pyspark.sql.functions as F
import pyspark.sql.types as Types
df = df.withColumn('t1_unix', F.unix_timestamp(df.t1, "yyyy-MM-dd'T'HH:mm:ss.SSS"))
df = df.withColumn('t2_unix', F.unix_timestamp(df.t2, "yyyy-MM-dd'T'HH:mm:ss.SSS"))
df = df.withColumn('diff', ((df.t1_unix-df.t2_unix)/60).cast(Types.IntegerType()))