将 PySpark DataFrame 转换回行

Question

我有一些现有的代码依赖于连续的数据： [u'0,1,1,5,0,1382,4,15]

为了进行一些转换，我必须将我的 RDD 转换为数据帧 sp，它现在看起来像这样：

行(a=u'1', code=u'ts=12206384',date=u'2014-10-05', cstat='200', 'substat'=0,', time=0,时间=u'00:06:18' 目标=0)]

是否可以将 spark DF 转换回其原始行格式，以便我的其余代码可以工作？

Answer 1

我假设你的意思是你想从 Row 对象返回一个逗号分隔值的字符串。

您将获取包含 Row 对象的数据框并执行以下操作：

df_of_row_objects.map(lambda row: ",".join(x for x in row))

此代码遍历数据框中的每个 Row，并用逗号连接行中的每个项目。