在 Pyspark 中将流水线 RDD 转换为 Dataframe [重复]答案

【问题标题】：Convert Pipelined RDD to Dataframe in Pyspark [duplicate]在 Pyspark 中将流水线 RDD 转换为 Dataframe [重复]
【发布时间】：2018-05-02 09:38:48
【问题描述】：

这就是我的流水线 RDD 的样子：

[([3.0, 12.0, 8.0, 49.0, 27.0], 7968.0),
 ([165.0, 140.0, 348.0, 615.0, 311.0], 165.0)]

我想将其转换为数据框。我尝试将第一个元素（在方括号中）转换为 RDD，将第二个元素转换为 RDD，然后将它们分别转换为数据帧。我也尝试过设置架构并进行转换，但没有奏效。有人可以帮忙吗？

谢谢！

【问题讨论】：

【解决方案1】：

在转换为 DataFrame 之前，您需要扁平化您的 RDD：

df=rdd.map(lambda (x,y): x+[y]).toDF()

您可以指定toDF() 的schema 参数以获取有意义的列名和/或类型。

【讨论】：