在 pyspark 中根据一些复杂的逻辑做一些列

Question

这是附图中的问题：

表：

Row Col1    Col2    Col3    Result
1   10       20      100    30
2   20       40      200    60
3   30       60       0     240
4   40       70       0     180
5   30       80      50     110
6   25       35       0      65
7   10       20      60      30

所以结果列是根据以下规则计算的：

1. 如果 col3 >0 ，则 result=col1+col2
2. 如果 col 3=0，则 result= sum (col2) until col3 >0 + col1(where col3>0)

例如对于第 3 行，结果=60+70+80+30（来自第 5 行的 col1，因为这里 col3>0）=240 对于第 4 行，结果=70+80+30（来自第 5 行的 col1，因为这里 col3>0）=180 其他人也一样

Answer 1

这回答（正确，我可能会添加）问题的原始版本。

在 SQL 中，您可以使用窗口函数来表达这一点。使用累积和来定义组和额外的累积和：

select t.*,
       (case when col3 <> 0 then col1 + col2
             else sum(col2 + case when col3 = 0 then col1 else 0 end) over (partition by grp order by row desc)
        end) as result
from (select t.*,
             sum(case when col3 <> 0 then 1 else 0 end) over (order by row desc) as grp
      from t
     ) t;

Here 是一个 dbfiddle（使用 Postgres）。

注意：

您的描述表明else 逻辑应该是：

else sum(col2) over (partition by grp order by row desc)

你的例子说：

else sum(col2 + col3) over (partition by grp order by row desc)

在我看来，这似乎是最合乎逻辑的：

else sum(col1 + col2) over (partition by grp order by row desc)