PySpark Unix 时间到 yyyy-MM-dd HH:mm:ss.SSS

Question

我想使用 PySpark 将纪元时间（以毫秒为单位）转换为 yyyy-MM-dd HH:mm:ss.SSS。我在下面尝试过，但我得到了奇怪的转换。

srcdf.withColumn("createdTime",from_unixtime(col("createdTime"),"yyyy-MM-dd HH:mm:ss.SSS"))

例如， 1696012940095 被转换为 [phone]:34:55.000 ，而它应该是 2023-09-29 18:42:20.095 。看起来这是因为这个函数只需要以秒为单位的纪元时间作为输入。问题 - 如何获得毫秒级粒度？

Answer 1

这有效。

srcdf.withColumn("createdTime",(col("createdTime")/1000).cast("timestamp"))