Spark 两个 RDD 连接问题

【问题标题】：Spark two RDD join issueSpark 两个 RDD 连接问题
【发布时间】：2015-08-06 22:04:05
【问题描述】：

我有两个 RDD。

moviesRDD =[(1,'monster'),(2,'minions 3D'),...] #(movieID,title)
ratingsRDD =[(1,(3,4)),(2,(4,5)),.....]  #(movieID,(numbersofrating,avg_rating))

理想的结果是：

newRDD =[(3,'monster',4),(4,'minions 3D',5),....] #(numbersofrating,title,avg_rating)

我不确定如何获取 newRDD。

【问题讨论】：

【解决方案1】：

这应该可以解决问题：

(moviesRDD
    .join(ratingsRDD) # Join by key
    .values() # Extract values
    .map(lambda x: (x[1][0], x[0], x[1][1]))) # Reshape

【讨论】：