如何将列的类型从字符串转换为日期

问题描述 投票:0回答:1

我有一个非常简单的问题,在这里我找不到一个简单的答案:我想将Pyspark DataFrame中的列的类型从字符串转换为日期,该怎么办?

我尝试了以下操作:

df.withColumn('dates', datetime.strpdate(col('date'), %Y%m%d))

df.withColumn('dates', datetime.strpdate(df.date, %Y%m%d))

但是在每种情况下,我都会收到以下错误:TypeError:strptime()参数1必须是str,而不是Column。

因此,显然col('date')df.date被解释为列,而不是保留的字符串。我该如何解决?

python string date datetime pyspark
1个回答
2
投票

如果格式为“ yyyy-MM-dd”,则可以使用“ cast”函数将字符串列转换为日期,或者可以使用“ to_date”函数,后者是更通用的函数,可以在其中指定输入格式以及。

这里是示例代码。

代码

# Create DaraFrame
df = spark.createDataFrame([(1, "2020-06-03", "2020/06/03"), (2, "2020-05-01", "2020/05/01")] , ["id", "date_fmt_1", "date_fmt_2"])

# Convert the string columne to date.
df1 = (df
         # approach - 1: use cast function if the format is "yyyy-MM-dd"
         .withColumn("date_1", df["date_fmt_1"].cast("date"))
       # Approach - 2 : use to_date function and specify the input format. "yyyy/MM/dd" in our case 
       .withColumn("date_2", to_date("date_fmt_2", "yyyy/MM/dd"))
       # If you don't specify any format, it will take spark default format "yyyy-MM-dd"
        .withColumn("date_3", to_date(df["date_fmt_1"])))

# Print the schema
df1.printSchema()

模式输出

root
 |-- id: long (nullable = true)
 |-- date_fmt_1: string (nullable = true)
 |-- date_fmt_2: string (nullable = true)
 |-- date_1: date (nullable = true)
 |-- date_2: date (nullable = true)
 |-- date_3: date (nullable = true)

显示数据。

df1.show()

DataFrame输出

+---+----------+----------+----------+----------+----------+
| id|date_fmt_1|date_fmt_2|    date_1|    date_2|    date_3|
+---+----------+----------+----------+----------+----------+
|  1|2020-06-03|2020/06/03|2020-06-03|2020-06-03|2020-06-03|
|  2|2020-05-01|2020/05/01|2020-05-01|2020-05-01|2020-05-01|
+---+----------+----------+----------+----------+----------+

有关Spark的DateTime函数的更多信息,您可以访问以下博客:https://medium.com/expedia-group-tech/deep-dive-into-apache-spark-datetime-functions-b66de737950a

我希望这会有所帮助。

© www.soinside.com 2019 - 2024. All rights reserved.