使用pyspark,spark + databricks时,如何向数据框添加完全不相关的列

问题描述 投票:-1回答:1

假设我有一个数据框:

myGraph=spark.createDataFrame([(1.3,2.1,3.0),
                               (2.5,4.6,3.1),
                               (6.5,7.2,10.0)],
                              ['col1','col2','col3'])

我想添加一个新的字符串列,使其看起来像:

enter image description here

from pyspark.sql.functions import lit
myGraph=myGraph.withColumn('rowName',lit('xxx'))

在此之前,rowName中的值都是'xxx'。但我不知道如何在rowName中添加新的列值('col1','col2','col3')?

string apache-spark dataframe pyspark databricks
1个回答
1
投票

您可以使用内置rand()函数和udf辅助函数创建随机int值(1-N),以生成下一个新字符串:

val randColumnUDF = udf((rand: Long) => s"X${rand}")
val N = 10000

df.withColumn("rand", randColumnUDF(rand() * N)).show(false)

+----+
|rand|
+----+
|X1  |
|X8  |
|X6  |
|... |
+----+

上面的代码将在1到10000之间附加一个随机数,产生X值:X1,X23,......等

热门问题
推荐问题
最新问题