在 NaN 处的 Cumsum 重置答案

【问题标题】：Cumsum reset at NaN在 NaN 处的 Cumsum 重置
【发布时间】：2013-08-14 08:15:44
【问题描述】：

如果我有一个名为 ts 的 pandas.core.series.Series 是 1 或 NaN，如下所示：

3382   NaN
3381   NaN
...
3369   NaN
3368   NaN
...
15     1
10   NaN
11     1
12     1
13     1
9    NaN
8    NaN
7    NaN
6    NaN
3    NaN
4      1
5      1
2    NaN
1    NaN
0    NaN

我想计算这个系列的 cumsum，但它应该在 NaN 的位置重置（设置为零），如下所示：

理想情况下，我想要一个矢量化解决方案！

我曾在 Matlab 中看到过类似的问题： Matlab cumsum reset at NaN?

但是我不知道怎么翻译这行d = diff([0 c(n)]);

【问题讨论】：

标签： python numpy pandas cumsum

【解决方案1】：

更多的 pandas-onic 方式：

v = pd.Series([1., 3., 1., np.nan, 1., 1., 1., 1., np.nan, 1.])
cumsum = v.cumsum().fillna(method='pad')
reset = -cumsum[v.isnull()].diff().fillna(cumsum)
result = v.where(v.notnull(), reset).cumsum()

与 matlab 代码相反，这也适用于不同于 1 的值。

【讨论】：

这是最好的答案。如果您想了解它是如何工作的，只需在最后添加一行：print(pd.DataFrame({'v': v, 'cum': cumsum, 'reset': reset, 'result': result}))，然后运行此代码。

【解决方案2】：

如果您可以接受类似的布尔系列b，请尝试

(b.cumsum() - b.cumsum().where(~b).fillna(method='pad').fillna(0)).astype(int)

从您的系列开始ts，b = (ts == 1) 或 b = ~ts.isnull()。

【讨论】：

【解决方案3】：

这里有一种更类似于熊猫的方法：

v = Series([1, 1, 1, nan, 1, 1, 1, 1, nan, 1], dtype=float)
n = v.isnull()
a = ~n
c = a.cumsum()
index = c[n].index  # need the index for reconstruction after the np.diff
d = Series(np.diff(np.hstack(([0.], c[n]))), index=index)
v[n] = -d
result = v.cumsum()

请注意，其中任何一个都要求您使用pandas 至少9da899b 或更高版本。如果不是，则可以将 bool dtype 转换为 int64 或 float64 dtype：

v = Series([1, 1, 1, nan, 1, 1, 1, 1, nan, 1], dtype=float)
n = v.isnull()
a = ~n
c = a.astype(float).cumsum()
index = c[n].index  # need the index for reconstruction after the np.diff
d = Series(np.diff(np.hstack(([0.], c[n]))), index=index)
v[n] = -d
result = v.cumsum()

【讨论】：

ValueError: cannot convert float NaN to integer for ts.notnull.cumsum() 在 pandas 0.12 上。我不确定为什么布尔系列会发生这种情况..
这应该已经被9da899b修复了
@Closed 确保你是最新的，如果它仍然不起作用，请告诉我。
@Closed 我已经更新了9da899b之前的使用答案。
感谢您的回答。 @nosuchthingasstars 的答案被标记为解决了这个问题......但我也喜欢你的回答！你应该写ts = pd.Series(np.random.randint(10, size=1000), dtype=float)

【解决方案4】：

您的 Matlab 代码的简单 Numpy 翻译如下：

import numpy as np

v = np.array([1., 1., 1., np.nan, 1., 1., 1., 1., np.nan, 1.])
n = np.isnan(v)
a = ~n
c = np.cumsum(a)
d = np.diff(np.concatenate(([0.], c[n])))
v[n] = -d
np.cumsum(v)

执行此代码将返回结果array([ 1., 2., 3., 0., 1., 2., 3., 4., 0., 1.])。此解决方案仅与原始解决方案一样有效，但如果它不足以满足您的目的，它可能会帮助您提出更好的解决方案。

【讨论】：

它不适用于：v = np.array([1., 2., 4., np.nan, 1., 3., 1., 3., np.nan , 1.])