【发布时间】:2021-11-24 21:47:28
【问题描述】:
我有一个很大的 parquet 文件,其中有很多行包含重复的字段:
| client_identifier_1 | client_identifier_2 | value_a | value_b | product_identifier |
|---|---|---|---|---|
| a | c | 12 | 22 | au |
| a | c | 11 | 12 | au |
| a | c | 5 | 12 | au |
| b | a | 4 | 21 | ag |
| b | a | 3 | 1 | ag |
我需要对 client_identifier_1、client_identifier_1 和 product_identifier 匹配的 value_a 和 value_b 行求和和转换。
预期输出:
| client_identifier_1 | client_identifier_2 | value_a | value_b | product_identifier |
|---|---|---|---|---|
| a | c | 28 | 46 | au |
| b | a | 7 | 22 | ag |
【问题讨论】: