将 spark 数据帧写入 csv 时转义值内的逗号答案

【问题标题】：Escape commas inside values while writing spark dataframes to csv将 spark 数据帧写入 csv 时转义值内的逗号
【发布时间】：2018-01-15 01:20:41
【问题描述】：

我正在使用 df.write("csv") 在 Apache Spark 中编写我的值集。

默认情况下，它会写入如下值：

1,abcded,"qwe,rr" 即当值中有逗号时用双引号括起来。

但是，我想像qwe\\,rr 这样转义逗号，而不是用双引号括起来。关于如何实现这一目标的任何想法？

【问题讨论】：

【解决方案1】：

如果您使用的是来自 databricks 的spark-csv，您可以将quoteMode 属性设置为None，如下所示。

 df.write.option("quoteMode", "None").csv("/path/to/target")

【讨论】：

【解决方案2】：

我可以这样做：

import org.apache.spark.sql.functions._

val updatedDf = df.withColumn(
   "<column-name>", regexp_replace(col("<column-name>"), ",", "\\\\\\\\,"))

【讨论】：