在pyspark中将Row转换为列表RDD

Question

我有一个表单列表

[Row(_1=u'5', _2=u'6')]

我想把它转换成

[(5,6)]

使用 PySpark

Answer 1

如果您的 [Row(_1=u'5', _2=u'6')] 是您的 rdd 中的一行：

from pyspark.sql import Row

a = [Row(_1=u'5', _2=u'6')]
rdd = sc.parallelize(a) 
print rdd.take(1)
# >>> [Row(_1=u'5', _2=u'6')]

b = rdd.map(lambda line: tuple([int(x) for x in line]))
print b.take(3)
# >>> [(5, 6)]

Answer 2

Row 是一个元组，所以你只需要：

rdd.map(tuple)

获取RDD[tuple] 或

rdd.map(list)

获取RDD[list]。