自定义 spark csv 行终止符答案

【问题标题】：customize spark csv line terminator自定义 spark csv 行终止符
【发布时间】：2018-07-12 08:20:51
【问题描述】：

我正在使用 pyspark 代码使用以下代码从数据帧生成 csv，

df.repartition(1).write.format('com.databricks.spark.csv').option("header","true").mode("overwrite").save("/user/test")

但是，当我在 notepad++ 中打开并看到行终止符时，它带有默认行终止符“\n”。我尝试了不同的选项，例如 textinputformat 记录分隔符集等，但没有运气。有没有办法在将数据帧导出到 spark 中的 csv 时自定义此 EOL。实际上我需要使用 CRLF ("\r\n") 自定义此 EOL。感谢任何帮助。谢谢。

【问题讨论】：

您找到解决方案了吗？
不。我使用了默认的行终止符。 @本杰明

标签： pyspark export-to-csv databricks

【解决方案1】：

您可以使用lineSep 选项将单个字符设置为行分隔符。

(
 df.repartition(1).write.format('com.databricks.spark.csv')
 .option("header", "true")
 .mode("overwrite")
 .option("lineSep", "^")
 .save("/user/test")
)

文档来源：https://spark.apache.org/docs/latest/sql-data-sources-csv.html#data-source-option

【讨论】：