【问题标题】:Spark sql groupby and concatSpark sql groupby 和 concat
【发布时间】:2021-06-09 03:05:16
【问题描述】:

我有下表

REF    SEQ   DATA
---------------------
1       5      a
1       1      b
1       9      c

2       12      d
2       3      e
2       8      f

我想得到以下结果。


REF     DATA
---------------------
1        bac
2        efd 

我怎样才能触发 sql?

【问题讨论】:

    标签: apache-spark apache-spark-sql


    【解决方案1】:

    使用groupBy、collect_list和concat_ws函数。

    检查下面的代码。

    df
    .orderBy($"SEQ".asc)
    .groupBy($"REF")
    .agg(collect_list($"DATA").as("DATA"))
    .select($"REF",concat_ws("",$"DATA").as("DATA"))
    .show(false)
    
    +---+----+
    |REF|DATA|
    +---+----+
    |1  |bac |
    |2  |efd |
    +---+----+
    
    

    SQL

    scala> spark.sql("with data as (select * from tbl order by seq asc) select REF,concat_ws('',collect_list(DATA)) AS DATA from data group by REF")
    .show(false)
    
    +---+----+
    |REF|DATA|
    +---+----+
    |1  |bac |
    |2  |efd |
    +---+----+
    

    【讨论】:

    • 订单不会阻止......即使用户订购。你也有这个的原始 sql 吗?
    • Raw sql 是可以的,除非 SEQ 是 underored,否则它的连接顺序是错误的。也许应该使用 windows fucntion 来修复它?
    • 我更新了问题..你可以检查一下预期的结果吗?
    • 它有效,但如果我使用加入,它会再次随机播放
    猜你喜欢
    • 2018-07-02
    • 2021-11-06
    • 2019-10-31
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-09-09
    • 1970-01-01
    相关资源
    最近更新 更多