在将spark数据帧写入csv时，在值内部转义逗号

Question

我正在使用df.write("csv")在Apache Spark中编写我的值集。

默认情况下，它会写入如下值：

1,abcded,"qwe,rr"即在值内有逗号时用双引号括起来。

但是，我想像qwe\\,rr那样逃避逗号而不是用双引号括起来。关于如何实现这一点的任何想法？

Answer 1

如果你使用databricks中的spark-csv，你可以将quoteMode属性设置为None，如下所示。

 df.write.option("quoteMode", "None").csv("/path/to/target")

Answer 2

我能够这样做：

import org.apache.spark.sql.functions._

val updatedDf = df.withColumn(
   "<column-name>", regexp_replace(col("<column-name>"), ",", "\\\\\\\\,"))