【发布时间】:2018-07-21 19:17:02
【问题描述】:
这是我的 RDD:
scala> grouped_final_resultMap.first
res20: (String, Iterable[Float]) = (2014-02-01,CompactBuffer(239.96, 129.99, 49.98, 100.0, 399.98))
我想要做的是在该RDD的_2-nd组件中总结Iterable[Float]中的所有项目。
谁能告诉我该怎么做?
非常感谢。
更新:
这里是 repl 会话:
scala> final_result.take(20).foreach(println)
2828,2013-08-10,129.99
43399,2014-04-20,100.0
43399,2014-04-20,129.99
43399,2014-04-20,49.98
8989,2013-09-19,119.97
...
scala> val final_resultMap1 = final_result.map(x=>(x.split(",")(1), x.split(",")(2).toFloat))
scala> grouped_final_resultMap1.first
res34: (String, Iterable[Float]) = (2014-02-01,CompactBuffer(239.96, 129.99, ...
val sumed = final_resultMap1.map{case (str, nums) => (str, nums.sum)}
如果给出以下错误:
<console>:41: error: value sum is not a member of Float
val sumed = final_resultMap1.map{case (str, nums) => (str, nums.sum)}
谢谢。
【问题讨论】:
标签: scala apache-spark rdd reduce