【发布时间】:2017-08-19 02:53:06
【问题描述】:
我已经将两个RDDs'cogrouped',我必须在结果RDD的compact Buffer中比较Iterable字符串,比较是这样的
1 ) 如果右compactbuffer值为空,则保留左compactbuffer值。
2) 如果左边的 compactbuffer 值缓冲区为空,则仅当右边的缓冲区中有 'I' 时才保留。
3) 如果左边的 compactbuffer 值不为空,而右边的 compactbuffer 值也不为空,其中包含“I”,则取右边的缓冲区。
4) 如果左边的 compactbuffer 值不为空,而右边的 compactbuffer 值也不为空,keep 并且右边的缓冲区中没有“I”,那么丢弃这两个值并且整个条目应该从 rdd 中消失。
输入:
res4: org.apache.spark.rdd.RDD[(String, (Iterable[String], Iterable[String]))] = MapPartitionsRDD[25] at cogroup at <console>:57
Array[(String, (Iterable[String], Iterable[String]))] =
Array((6,(CompactBuffer(6,surya,1003,null),CompactBuffer(6,surya,1030,D))),
(5,(CompactBuffer(5,karun,1007,null),CompactBuffer(5,nirav,1023,I))),
(9,(CompactBuffer(9,pranav,1010,null),CompactBuffer())),
(3,(CompactBuffer(3,riahana,1006,null),CompactBuffer(3,rohit,1020,I))),
(1,(CompactBuffer(1,shubham,1001,null),CompactBuffer(1,yuvraj,1070,I))))
我需要这个输出,请帮忙:
输出:
org.apache.spark.rdd.RDD[String]
5,nirav,1023,I
9,pranav,1010,null
3,rohit,1020,I
1,yuvraj,1070,I
【问题讨论】:
-
你有什么尝试吗?
-
是的 @AlbertoBonsanto 我试过了,但我无法提取正确的输出。我是 spark 新手 :(
-
如果两个都不为空并且左右都没有
l这个字母会怎样? -
@AlbertoBonsanto 离开那个案子
-
请假是什么意思?
标签: scala apache-spark apache-spark-sql spark-streaming rdd