将制表符分隔的文件转换为 csv 文件

【问题标题】：Converting Tab separated file to csv file将制表符分隔的文件转换为 csv 文件
【发布时间】：2016-09-09 06:36:02
【问题描述】：

我是 scala 和 spark 的新手，我正在尝试将 Tab 分隔文件转换为 CSV 文件，以进一步将其转换为 RDD。实际上，我尝试使用 sc.textFile 将 Tab 分隔文件转换为 RDD。它正在实施，但之后的结果如.first()、.take(n) 不是很系统，即使在使用foreach(println) 后也无法正确阅读。我尝试使用 Excel 将文件转换为 csv，但数据量非常大，一开始就没有加载。有没有什么简单的方法将 Tab 分隔的文件转换为 CSV 以便得到上述问题的系统结果。

【问题讨论】：

carminedimascio.com/2015/02/apache-spark-convert-csv-to-rdd 也许您可以提供您迄今为止尝试过的内容以及您的 csv 样本？
看看这个答案：stackoverflow.com/a/33898041

标签： scala csv

【解决方案1】：

这是一个迷你教程：

假设您的 TSV 数据是： row11 \t row12 \t row13... \t row1n row21 \t row22 \t row23... \t row2n 将此文件作为字符串的 RDD 读取：

val readFile = sc.textFile("FILEPAHT HERE")

使用制表符分隔符解析其内容：

val parseRows = readFile.map(row => row.split("\t"))

将行数组转换为由“，”分隔的字符串

val outputCsvRdd = parseRows.map(row => row.mkString(","))

写出将是 csv 的文件：

outputCsvRdd.saveAsTextFile('OUTPUTPATH')

【讨论】：