如何将列表转换为python spark中的项目

【问题标题】：how to convert list to items in python spark如何将列表转换为python spark中的项目
【发布时间】：2017-03-25 04:16:24
【问题描述】：

我下面的代码只是生成了一个包含列表的 RDD，然后通过 flatMap 将列表转换为项目。但是我觉得下面这种蠢，是不是一定要写函数listToItem，还要写函数printStr。请对以下代码进行任何优化。

def listToItem(inputList):
    return inputList
def printStr(tm):
    print tm

if __name__ == "__main__":
    sc = SparkContext(appName="Test Spark")
    rdd1 = sc.parallelize([[1,2,3],['a','b','c']])
    res = rdd1.flatMap(listToItem).foreach(printStr)
    sc.stop()

【问题讨论】：

标签： pyspark

【解决方案1】：

对于第一个，只需使用身份（信用 Is there a builtin identity function in python?）：

>>> _ = lambda *args: args
>>> rdd1.flatMap(_)

对于第二个导入打印功能：

>>> from __future__ import print_function

和

>>> rdd1.flatMap(_).foreach(print)

但请记住，它是无用的 (https://stackoverflow.com/a/25296061/6022341)

【讨论】：