【问题标题】:Create Composite Key on Spark在 Spark 上创建复合键
【发布时间】:2023-03-23 11:28:01
【问题描述】:

我正在研究 Spark 上的基本协同过滤算法,但遇到了 RDD 转换问题。我的输入 RDD 是这样的:

[“约翰”,“a”,“5”],[“约翰”,“b”,“3”],[“约翰”,“c”,“2”],[“马克”, “a”, “3”] [“马克”, “b”, “4”] [“露西”, “b”, “2”] [“露西”, “c”, “5”]

在每个 RDD 元素中,第一个值是用户,第二个值是产品名称(“a”、“b”或“c”),第三个值是它的评分。

我想通过按名称分组,然后通过产品组合来转换输入RDD,所以我的最终结果RDD将是

[("a","b"),("5","2")] [("a","b"),("3","4")] [("a" ,"c"),("5","2")]

在上面的结果中,因为 John 和 Mark 在 a 和 b 上都有“评分”,所以我有两个以 (a,b) 为键的 RDD 元素,它们的评分为值。只有 John 对 a 和 c 都有评分,因此我只有一个以 (a,c) 为键的 RDD 元素。

【问题讨论】:

  • 我对“如果我输入'a'”这个短语有点困惑。您能详细说明一下或发布一些代码吗?
  • 很抱歉给您带来了困惑。此刻不重要,我把那行删掉了,
  • 这个还不清楚……
  • 分享你到目前为止所做的事情!
  • 我正在寻找一个模式但解释太肤浅

标签: apache-spark pyspark rdd


【解决方案1】:

您可以执行以下操作:

val keyedElems = rdd1.map { case (a, b, c) => (a, (b, c)) }
val groupedCombinations = keyedElems.groupByKey().flatMapValues(_.toList.combinations(2))
val productScoreCombinations = groupedCombinations.mapValues { case (elems: List[(String, String)]) => ((elems(0)._1, elems(1)._1), (elems(0)._2, elems(1)._2)) }.values   

我们在这里所做的是按用户键入您的输入数据集,通过按键分组生成(产品,评级)的可迭代列表,生成每个列表的 2 个组合,展平该列表以将每个组合放入自己的记录,最后对元素重新排序,以在它们自己的元组中包含产品和评级。

在 Spark 中本地运行时,我看到以下内容:

scala> val rdd1 = sc.parallelize(Array(("John", "a", "5"),("John", "b", "3"),("John", "c", "2"),("Mark", "a", "3"),("Mark", "b", "4"),("Lucy", "b", "2"),("Lucy", "c", "5")))
rdd1: org.apache.spark.rdd.RDD[(String, String, String)] = ParallelCollectionRDD[0] at parallelize at <console>:21

scala> val rdd2 = rdd1.map { case (a, b, c) => (a, (b, c)) }
rdd2: org.apache.spark.rdd.RDD[(String, (String, String))] = MapPartitionsRDD[1] at map at <console>:23

scala> val rdd3 = rdd2.groupByKey().flatMapValues(_.toList.combinations(2))
rdd3: org.apache.spark.rdd.RDD[(String, List[(String, String)])] = MapPartitionsRDD[3] at flatMapValues at <console>:25

scala> val rdd4 = rdd3.mapValues { case (elems: List[(String, String)]) => ((elems(0)._1, elems(1)._1), (elems(0)._2, elems(1)._2)) }.values
rdd4: org.apache.spark.rdd.RDD[((String, String), (String, String))] = MapPartitionsRDD[7] at values at <console>:27

scala> rdd4.foreach(println)
...
((a,b),(3,4))
((b,c),(2,5))
((a,b),(5,3))
((a,c),(5,2))
((b,c),(3,2))

您可以对此运行一个简单的过滤器来查找所有包含产品“a”的行。

(编辑:)

我错过了您已将其标记为 pyspark,因此我使用下面的 python 解决方案进行了更新(基本上从上面的 scala 映射):

import itertools

keyedElems = input.map(lambda x: (x[0], (x[1], x[2])))
groupedCombinations = keyedElems.groupByKey().flatMapValues(lambda arr: itertools.combinations(arr, 2))
productScoreCombinations = groupedCombinations.mapValues(lambda elems: ((elems[0][0], elems[1][0]), (elems[0][1], elems[1][1]))).map(lambda x: x[1])

当我运行上述代码时,我在 pyspark 中看到以下内容:

>>> input = sc.parallelize([("John", "a", "5"),("John", "b", "3"),("John", "c", "2"),("Mark", "a", "3"),("Mark", "b", "4"),("Lucy", "b", "2"),("Lucy", "c", "5")])
...
>>> productScoreCombinations.take(6)
...
[(('b', 'c'), ('2', '5')), (('a', 'b'), ('5', '3')), (('a', 'c'), ('5', '2')), (('b', 'c'), ('3', '2')), (('a', 'b'), ('3', '4'))]

【讨论】:

  • 谢谢。我正在使用 pyspark,所以我想弄清楚你的想法。一个问题,rdd.groupByKey() 和 flatMapValues() 不会给出相同的 rdd 吗?
  • 据我了解,您是将用户分组在一起,然后找到该用户拥有的所有产品组合。输出该产品组合作为键,并将它们各自的评级作为键?对吗?
  • @SYZ 对于你的第一个问题,如果身份函数被传递给flatMapValues(),那么是的。但是,这里我们传递了一个函数,该函数将创建生成分组元组的组合。对于您的第二个问题,如果您的意思是“将各自的评级作为价值”,那么您基本上是正确的:)
  • 对,我就是这个意思。非常感谢
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2017-04-07
  • 2011-03-23
  • 2013-11-19
  • 2014-07-08
  • 2015-04-12
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多