rdd（String，String，Long）的spark-scala中的字数

【问题标题】：word count in spark-scala for rdd(String,String,Long)rdd（String，String，Long）的spark-scala中的字数
【发布时间】：2017-03-08 03:45:53
【问题描述】：

我是 Spark-scala 的新手，试图解决简单的字数问题（具有多个属性作为键）。我可以得到一些输入吗？我有一个 Rdd(String,String,Long) 喜欢 (a,b,1) (a,c,1) (a,c,1) (b,b,1) (b,b,1)

期望的结果是一个类似 rdd (a,b,1) (a,c,2) (b,b,2)

【问题讨论】：

【解决方案1】：

试试：

rdd.map { 
  case (x, y, c) => ((x, y), c) 
}.reduceByKey(_ + _)

【讨论】：

@elisah：感谢您的澄清：我一直认为是另一种方式，因为我在我的程序中使用了它，并且不知何故它以更快的方式处理它！ def countByKey(): Map[K, Long] = self.withScope { self.mapValues(_ => 1L).reduceByKey(_ + _).collect().toMap }