如何在scala中将数据帧转换为RDD，而不丢失数据帧的模式

Question

我的数据框如下：

storeId| dateId|projectId
 9     |2457583|     1047
 9     |2457576|     1048

当我做rd = resultDataframe.rdd rd 时只有数据而不是标题信息。我用 rd.first 确认了这一点，我没有得到标题信息。另外当我尝试

rd.map(f => f._1+"\t"+f._2+"\t"+f._3).saveAsTextFile("s3://pathinS3/testtab4")

我只看到

9     2457583     1047
9     2457576     1048

我希望能够将 resultDataframe 转换为制表符分隔的 csv 并将其存储在 s3 中。

s3 中的预期 csv 输出：

storeId     dateId      projectId
 9          2457583     1047
 9          2457576     1048

感谢任何帮助。提前致谢。

Answer 1

你可以这样做

val rdd = df.rdd
val data = rdd.map(_.mkString("\t"))
val header = sc.parallelize(Seq(df.columns.mkString("\t")))
val rddWitHeader = header.union(data)

Answer 2

我有一个解决方法：

val columns= resultDataFrame.columns
val rddOfheader=sc.parallelize(columns)
val rddtoBesaved=resultDataFrame.rdd.map(f => (f.getAs[String](0),f.getAs[String](1),f.getAs[String](2))
val unionRDD=rddOfheader.unionAll(rddtoBeSaved)
unionRDD.coalesce(1).saveAsTextFile("foo.txt")

P.S：代码未经测试，但这应该可以工作，并且很高兴看到一个非常简单的答案，但这应该可以工作。