【发布时间】:2016-06-06 18:30:38
【问题描述】:
我正在使用以下代码将我的数据框导出到 csv:
data.write.format('com.databricks.spark.csv').options(delimiter="\t", codec="org.apache.hadoop.io.compress.GzipCodec").save('s3a://myBucket/myPath')
请注意,我使用delimiter="\t",因为我不想在每个字段周围添加额外的引号。但是,当我检查输出 csv 文件时,仍然有一些字段用引号括起来。例如
abcdABCDAAbbcd ....
1234_3456ABCD ...
"-12345678AbCd" ...
似乎在字段的前导字符为“-”时出现引号。为什么会发生这种情况,有没有办法避免这种情况?谢谢!
【问题讨论】:
标签: python csv apache-spark pyspark