spark 将日期时间转换为时间戳

Question

我在 pyspark 数据框中有一列，其格式为

2021-10-28T22:19:03.0030059Z

（字符串数据类型）。如何在 pyspark 中将其转换为时间戳数据类型？

我正在使用下面的代码片段，但这会返回空值，因为它无法转换它。有人可以建议如何转换吗？

df3.select(to_timestamp(df.DateTime, 'yyyy-MM-ddHH:mm:ss:SSS').alias('dt'),col('DateTime')).show()

Answer 1

只需执行以下等效的 python 代码（不带格式字符串）即可。解析器默认理解。

选择 to_timestamp('2024-04-17T04:31:08.3308016Z')

或

选择 CAST('2024-04-17T04:31:08.3308016Z' 作为时间戳)