【问题标题】:Convert RDD[Map[String,Double]] to RDD[(String,Double)]将 RDD[Map[String,Double]] 转换为 RDD[(String,Double)]
【发布时间】:2015-06-22 18:56:46
【问题描述】:

我做了一些计算并在包含 scala 映射的 RDD 中返回了我的值,现在我想删除此映射并希望收集 RDD 中的所有键值。

我们将不胜感激。

【问题讨论】:

  • mapRDD.flatMap(_.values) ?
  • @PeterNeyens:我认为他想要结果中的键和值,因此我的回答。
  • 是的,Kim,你是对的。

标签: scala apache-spark rdd


【解决方案1】:

您可以使用标识函数调用 flatMap 来“扁平化”您的 RDD 的结构。

rdd.flatMap(identity)

【讨论】:

  • 很棒的金,一击即中,我得到了我想要的。
  • Kim 当我将此 RDD 保存为文本文件时,我会得到这样的结果 -> (Key,Value) 我可以在没有这些括号的情况下保存到文件中吗?我们也可以更改这个逗号并添加一些其他分隔符,如制表符。
  • @KSHITIJKULSHRESTHA:这是一个完全不同的问题。您应该提出一个新问题并发布您的代码,但最好先进行一些自己的研究。
  • 确实是作为问题发布的,是的,你是对的,让我研究一下然后来找你。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2015-12-11
  • 1970-01-01
  • 1970-01-01
  • 2021-09-28
  • 2018-07-06
相关资源
最近更新 更多