【发布时间】:2017-03-04 10:52:03
【问题描述】:
- 问题 1:我可以在 Scala 中使用元组作为映射的键吗?
- 问题 2:如果是,如何创建以元组为键的映射?
-
问题 3:我想将我的 scala 映射转换为 RDD,在以下情况下我该怎么办?我正在尝试这样做
var mapRDD = sc.parallelize(map.toList)这是正确的做法吗?
- 问题 4:对于这个特定的代码 sn-p,当我在 map 上执行 println 时,它没有值。
我没有包含整个代码,基本上 mapAgainstValue 包含 userId 作为键和朋友列表作为值。我想在键中使用以下转换重新创建地图 RDD。 空地图的原因是什么?
var mapAgainstValue = logData.map(x=>x.split("\t")).filter(x => x.length == 2).map(x => (x(0),x(1).split(",")))
var map:Map[String,List[String]] = Map()
var changedMap = mapAgainstValue.map{
line =>
var key ="";
for(userIds <- line._2){
if(line._1.toInt < userIds.toInt){
key =line._1.concat("-"+userIds);
}
else {
key = userIds.concat("-" + line._1);
}
map += (key -> line._2.toList)
}
}
changedMap.collect()
map.foreach(println)
【问题讨论】:
标签: scala apache-spark