FlatMap 值及其列索引答案

【问题标题】：FlatMap Values and Their Column IndexFlatMap 值及其列索引
【发布时间】：2015-06-16 13:21:57
【问题描述】：

假设我有一个数据集

0,11,2,3,4,5,56,7
0,1,21,13,45,5,61,75
01,1,2,3,54,55,6,75

我要做的是将值平面映射到作为列索引的键和作为值的值。谁能给我指导？我发现很难获得列索引。

【问题讨论】：

【解决方案1】：

假设你的 RDD 是一个序列类型，你可以这样做：

rdd.flatMap(line => line.zipWithIndex.map(tuple => tuple.swap))

【讨论】：

它只是纯文本。我发现了这个，它看起来在 python 中是等价的：saltycrane.com/blog/2008/04/… 和这个：stackoverflow.com/questions/24689363/… 我认为用这两个东西玩 aorund 可能使它成为可能？最终，我的目标是根据列作为键进行列级操作。
对python版本的任何帮助将不胜感激。
当您想要进行列级操作时，您可能需要考虑使用 DataFrames (spark.apache.org/docs/1.3.0/api/python/…)

【解决方案2】：

创建键值对，其中键是列表索引，值是该索引处的值，如下所示：

rdd.flatMap(lambda x: enumerate(x))

这当然是假设你的数据已经是一个 RDD。

【讨论】：