使用 Python 将具有 unicode 数据列表的 RDD 转换为 Spark 中的元组 RDD答案

【问题标题】：Convert an RDD with list of unicode data to an RDD of tuples in Spark with Python使用 Python 将具有 unicode 数据列表的 RDD 转换为 Spark 中的元组 RDD
【发布时间】：2016-03-10 19:28:57
【问题描述】：

我有一个RDD 和list 的unicode 数据，例如：

[[u'2002-03-31',u'emp1',u'20000'],[u'2002-05-11',u'emp2',u'23050'],[u'2002-05-17',u'emp1',u'23300']...]

我想用tuple 将它转换为RDD，例如：

[(u'2002-03-31',u'emp1',u'20000'),(u'2002-05-11',u'emp2',u'23050'),(u'2002-05-17',u'emp1',u'23300')...]

怎么做？

【问题讨论】：

标签： python list apache-spark tuples rdd

【解决方案1】：

您可以简单地使用tuple进行映射：

rdd = sc.parallelize([
    [u'2002-03-31', u'emp1', u'20000'],
    [u'2002-05-11', u'emp2', u'23050'],
    [u'2002-05-17', u'emp1', u'23300']])

tuples = rdd.map(tuple)
tuples.first()
## ('2002-03-31', 'emp1', '20000')

【讨论】：