Scala spark 数据帧通过字段合并分组答案

【问题标题】：Scala spark data frames group by with field mergingScala spark 数据帧通过字段合并分组
【发布时间】：2016-11-14 04:24:39
【问题描述】：

我有 5 行的数据框：

[user,sun,MainTest2,end,false]
[user,sun,MainTest2,start,false]
[user,sun,MainTest,end,true]
[user,sun,MainTest,start,true]
[user,sun,MainTest,start,true]

我不想实现的是 2 个聚合行，其中文本合并在 4 个字段上：

[user,sun,MainTest2,end#some_union_symbol#start,false]
[user,sun,MainTest,end#some_union_symbol#start#some_union_symbol#start,true]

我想我需要做一些关于 reduce 的事情，但不太确定。谢谢！

【问题讨论】：

标签： scala cassandra spark-dataframe spark-cassandra-connector

【解决方案1】：

所有堆栈中只有一个Answer 可以找到并使用我的 1.4.1 spark。

抱歉，重复发帖

【讨论】：