围绕行与列的 Rdd lambda 函数混淆

Question

我有一个 spark RDD（下面的完整代码），我有点困惑。

给定输入数据：

385 | 1
291 | 2

如果我有以下 lambda 函数，为什么在 reduceByKey 中有 x[0]+y[0] = 385+291？ X 和 Y 肯定与 RDD 的不同列有关吗？还是我认为这意味着他们指的是

totalsByAge = rdd2.mapValues(lambda x: (x, 1)).reduceByKey(lambda x, y:(x[0] + y[0], x[1] + y[1]))

完整代码：

import findspark
findspark.init()
import pyspark

#UserID | Name | Age | Num_Friends
#r before the filepath converts it to a raw string
lines = sc.textFile(r"c:\Users\kiera\Downloads\fakefriends.csv") 

#For each line in the file, split it at the comma
#split 2 is the age 
#Split 3 is the number of friends
def splitlines(line):
    fields = line.split(',')
    age = int(fields[2])
    numFriends = int(fields[3])
    return (age, numFriends)

rdd2 = lines.map(splitlines)
totalsByAge = rdd2.mapValues(lambda x: (x, 1)).reduceByKey(lambda x, y:(x[0] + y[0], x[1] + y[1]))

rdd2 看起来像这样

[(33, 385),
 (26, 2),
 (55, 221),
 (40, 465),
 (68, 21),
 (59, 318),
 (37, 220),
 (54, 307)....

Answer 1

好的，当您执行第一步时：

rdd2 = spark.sparkContext.parallelize([
(33, 385), (26, 2), (55, 221), (40, 465), (68, 21), (59, 318), (37, 220), (54, 307)
])

# Simple count example
# Make a key value pair like ((age, numFriends), 1) 
# Now your key is going to be (age, numFriends) and value is going to be 1
# When you say reduceByKey, it will add up all values for the same key
rdd3  = rdd2.map(lambda x: (x, 1)).reduceByKey(lambda x, y: x+y)

totalsByAge = rdd2.mapValues(lambda x: (x, 1)).reduceByKey(lambda x, y:(x[0] + y[0], x[1] + y[1]))

在上述情况下，您正在做的是：

• 创建(age, (numFriends, 1))的成对RDD
• reduceByKey 在哪里，你取x 和y 并对其执行(x[0] + y[0], x[1] + y[1])。 在这里，您的 x 是 RDD 的一个元素，y 是另一个元素（但按年龄分组）
• 您创建了年龄组（因为第一个元素是您的键，即age），将x[0] 与y[0] 相加，每个年龄组的numFriends 相加，x[1] 与y[1] 相加添加我们在第一步中添加的计数器mapValues 每个年龄段。