使用dataframe.withColumn和变量似乎不起作用

Question

我正在尝试编写如下语句：profileId =“some value”df.withColumn（“ProfileId”，col（profileId））并在DataBricks上获得AnalysisException。据我所知，这应该是有效的，所以我想知道问题是什么。任何帮助，将不胜感激。

Answer 1

尝试将lit与变量一起使用，例如

%py
from pyspark.sql.functions import col, expr, when, lit

df = sc.parallelize([
    ("orange", "apple"), ("kiwi", None), (None, "banana"), 
    ("mango", "mango"), (None, None)
]).toDF(["fruit1", "fruit2"])

profileId = "some value"

display(df.withColumn("ProfileId", lit(profileId)))