【发布时间】:2017-01-31 18:31:12
【问题描述】:
我正在尝试计算人在 spark 2.1 和 Scala 上多次旅行的总距离。
我有一个pairedRDD,键是人,列表,旅行列表:(性别,公里数):
我想通过键将公里数相加,我需要访问第二个值(公里的 nb),但我不知道如何。 我试过了 :
我是 scala 新手,来自 python 我不明白:-/
编辑 1
编辑 2
编辑 3
编辑 4
我不明白:a 和 b 似乎对系统是透明的: 以下 3 条指令给出了相同的结果:
编辑 5
【问题讨论】:
-
我编辑了问题以显示一些joined_rdd数据-joinedrdd是'trajets_par_cycliste'的别名
-
(sex, nb of km)对嵌套在rdd的第 3 层。 -
...那你将如何获取它?
-
给出错误:alue reduceByKey is not a member of org.apache.spark.rdd.RDD[List[(String, String)]]
标签: scala apache-spark