如何将 MapPartitionsRDD 转换为数据框？答案

【问题标题】：how to convert MapPartitionsRDD to a dataframe?如何将 MapPartitionsRDD 转换为数据框？
【发布时间】：2016-10-12 16:02:44
【问题描述】：

我有一个 MapPartitionsRDD 从以下位置返回：

from pyspark.mllib.feature import Normalizer
normalizer = Normalizer()
rating = normalizer.transform(ratingRDD)
print(rating)

> MapPartitionsRDD[239] at mapPartitions at PythonMLLibAPI.scala:1522

如何将其转换为数据框？

【问题讨论】：

标签： apache-spark pyspark apache-spark-mllib

【解决方案1】：

试试：

rating.map(lambda x: (x, )).toDF()

【讨论】：

此方法不适用于 MapPartitionsRDD 甚至 RDD 类型。