我需要修改数据帧的每一列的值,以便它们在映射后都用双引号括起来,但数据框仍然保留其原始结构和标题。
我尝试通过将行更改为序列来映射值,但它在输出数据帧中丢失了它的标题。
将此读入作为输入数据帧:
|prodid|name |city|
+------+-------+----+
|1 |Harshit|VNS |
|2 |Mohit |BLR |
|2 |Mohit |RAO |
|2 |Mohit |BTR |
|3 |Rohit |BOM |
|4 |Shobhit|KLK |
我尝试了以下代码。
val columns = df.columns
df.map{ row =>
row.toSeq.map{col => "\""+col+"\"" }
}.toDF(columns:_*)
但是它会抛出一个错误,指出映射的数据帧中只有1个标题,即值。这是实际结果(如果我删除“.df(columns:_ *)”):
| value|
+--------------------+
|["1", "Harshit", ...|
|["2", "Mohit", "B...|
|["2", "Mohit", "R...|
|["2", "Mohit", "B...|
|["3", "Rohit", "B...|
|["4", "Shobhit", ...|
+--------------------+
我的预期结果如下:
|prodid|name |city |
+------+---------+------+
|"1" |"Harshit"|"VNS" |
|"2" |"Mohit" |"BLR" |
|"2" |"Mohit" |"RAO" |
|"2" |"Mohit" |"BTR" |
|"3" |"Rohit" |"BOM" |
|"4" |"Shobhit"|"KLK" |
注意:此示例中只有3个标题,但我的原始数据有很多标题,因此如果文件标题更改,则手动键入每个标题并不是一个选项。如何从中获取此修改后的值数据框?
编辑:如果我需要除整数之外的所有值的引号。所以,输出是这样的:
|prodid|name |city |
+------+---------+------+
|1 |"Harshit"|"VNS" |
|2 |"Mohit" |"BLR" |
|2 |"Mohit" |"RAO" |
|2 |"Mohit" |"BTR" |
|3 |"Rohit" |"BOM" |
|4 |"Shobhit"|"KLK" |
可能更容易使用选择:
val df = Seq((1, "Harshit", "VNS"), (2, "Mohit", "BLR"))
.toDF("prodid", "name", "city")
df.select(df.schema.fields.map {
case StructField(name, IntegerType, _, _) => col(name)
case StructField(name, _, _, _) => format_string("\"%s\"", col(name)) as name
}:_*).show()
输出:
+------+---------+-----+
|prodid| name| city|
+------+---------+-----+
| 1|"Harshit"|"VNS"|
| 2| "Mohit"|"BLR"|
+------+---------+-----+
请注意,还有其他数字类型,如LongType
和DoubleType
,因此可能需要处理这些,或者只是引用StringType
等。