【问题标题】:Comparing Two Iterable Strings in Spark scala Over Compact Buffer from common Key比较 Spark scala 中的两个可迭代字符串通过来自公共键的紧凑缓冲区
【发布时间】:2017-08-19 02:53:06
【问题描述】:

我已经将两个RDDs'cogrouped',我必须在结果RDD的compact Buffer中比较Iterable字符串,比较是这样的

1 ) 如果右compactbuffer值为空,则保留左compactbuffer值。

2) 如果左边的 compactbuffer 值缓冲区为空,则仅当右边的缓冲区中有 'I' 时才保留。

3) 如果左边的 compactbuffer 值不为空,而右边的 compactbuffer 值也不为空,其中包含“I”,则取右边的缓冲区。

4) 如果左边的 compactbuffer 值不为空,而右边的 compactbuffer 值也不为空,keep 并且右边的缓冲区中没有“I”,那么丢弃这两个值并且整个条目应该从 rdd 中消失。

输入:

res4: org.apache.spark.rdd.RDD[(String, (Iterable[String], Iterable[String]))] = MapPartitionsRDD[25] at cogroup at <console>:57

Array[(String, (Iterable[String], Iterable[String]))] = 
Array((6,(CompactBuffer(6,surya,1003,null),CompactBuffer(6,surya,1030,D))), 

(5,(CompactBuffer(5,karun,1007,null),CompactBuffer(5,nirav,1023,I))), 

(9,(CompactBuffer(9,pranav,1010,null),CompactBuffer())), 

(3,(CompactBuffer(3,riahana,1006,null),CompactBuffer(3,rohit,1020,I))),

(1,(CompactBuffer(1,shubham,1001,null),CompactBuffer(1,yuvraj,1070,I))))

我需要这个输出,请帮忙:

输出:

org.apache.spark.rdd.RDD[String]

5,nirav,1023,I

9,pranav,1010,null

3,rohit,1020,I

1,yuvraj,1070,I

【问题讨论】:

  • 你有什么尝试吗?
  • 是的 @AlbertoBonsanto 我试过了,但我无法提取正确的输出。我是 spark 新手 :(
  • 如果两个都不为空并且左右都没有l这个字母会怎样?
  • @AlbertoBonsanto 离开那个案子
  • 请假是什么意思?

标签: scala apache-spark apache-spark-sql spark-streaming rdd


【解决方案1】:

不确定我是否遵循,但希望这会给你一个想法:

val result: RDD[(String, Iterable[String])] = data
        .filter(_._2._2.exists(_.endsWith("I")))
        .mapValues {
          case (left, right) => (left, right.filter(_.endsWith("I")))
        }.mapValues {
          case (left, right) => right.headOption.map(_ => right).getOrElse(left)
        }

如果您愿意,也可以使用if/else 进行简单的right.isEmpty 检查。

【讨论】:

  • 当右缓冲区没有“I”时,您的解决方案也会给我左缓冲区值。如何丢弃该值?它也给了我这个值 6,surya,1003,null Array((6,CompactBuffer(6,surya,1003,null)), (5,List(5,nirav,1023,I)), (9,CompactBuffer( 9,pranav,1010,null)), (3,List(3,rohit,1020,I)), (1,List(1,yuvraj,1070,I))))
  • 正如@AlbertoBonsanto 多次告诉您的那样,您的要求仍然不清楚——在这种情况下,当Iterables 都为非空且右边没有I 时会发生什么。无论如何,目标是为您提供自己解决问题所需的信息,而不是为您完成所有工作。
  • 如果我的要求不清楚,我很抱歉,这是我关于 stackoverflow 的第一个问题,基本上当两个 Iterables 都是非空的并且右边没有 I's 时,在这种情况下我们不会接受任何值从双方。感谢@Vidya 指出我的错误,我以后会注意的,非常感谢你的解决方案,你是最好的:)
  • 所以当你说“什么都不带”时,你的意思是一个空的Iterable吗?您的意思是RDD 中的整个条目都消失了吗?准确定义。
  • 是的,结果 RDD 中的整个条目都应该去。
猜你喜欢
  • 2018-07-21
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多