每月对具有特定开始日期的熊猫进行重新采样

Question

我正在创建一个带有随机日期和随机整数值的 pandas DataFrame，我想按月重新采样并计算整数的平均值。这可以通过以下代码完成：

def random_dates(start='2018-01-01', end='2019-01-01', n=300):

    start_u = start.value//10**9
    end_u = end.value//10**9
    return pd.to_datetime(np.random.randint(start_u, end_u, n), unit='s')

start = pd.to_datetime('2018-01-01')
end = pd.to_datetime('2019-01-01')

dates = random_dates(start, end)
ints = np.random.randint(100, size=300)
df = pd.DataFrame({'Month': dates, 'Integers': ints})

print(df.resample('M', on='Month').mean())

问题是重新采样的月份总是从第一天开始，我希望所有月份都从第 15 天开始。我使用的是 pandas 1.1.4，我尝试过使用 origin='15/01/2018' 或 offset='15'，但都没有它们适用于'M' resample 规则（当我使用30D 时它们确实有效，但它没有用）。我也尝试过使用'2SM'，但它也不起作用。

所以我的问题是，是否有办法更改重采样规则，或者我必须在数据中添加偏移量？

Answer 1

假设源DataFrame是：

       Month  Amount
0 2020-05-05       1
1 2020-05-14       1
2 2020-05-15      10
3 2020-05-20      10
4 2020-05-30      10
5 2020-06-15      20
6 2020-06-20      20

要计算您的“移位”重采样，请先移位 Month 列，以便 每月的第 15 天变成第 1 天：

df.Month = df.Month - pd.Timedelta('14D')

然后重新采样：

res = df.resample('M', on='Month').mean()

结果是：

            Amount
Month             
2020-04-30       1
2020-05-31      10
2020-06-30      20

如果需要，将索引中的日期更改为月份：

res.index = res.index.to_period('M')

那么结果将是：

         Amount
Month          
2020-04       1
2020-05      10
2020-06      20

Answer 2

编辑：不是 OP 要求的有效解决方案。请参阅 cmets 中的简短讨论。

有趣的问题。我建议使用“SMS”重新采样 - 半月开始频率（1 日和 15 日）。不只保留平均值，而是保留计数值和总和值，并通过其两个子周期重新计算每个月周期的加权平均值（例如：15/1 到 15/2 由 15/1-31/1 组成和 1/2-15/2)。

这里的优点是，与（不当使用）偏移量不同，我们确信我们总是从每月 15 日开始直到下个月 14 日。

df_sm = df.resample('SMS', on='Month').aggregate(['sum', 'count'])
df_sm

           Integers      
                sum count
Month                    
2018-01-01      876    16
2018-01-15      864    16
2018-02-01      412    10
2018-02-15      626    12
...
2018-12-01      492    10
2018-12-15      638    16

滚动和滚动计数；找出它们的平均值：

df_sm['sum_rolling'] = df_sm['Integers']['sum'].rolling(2).sum()
df_sm['count_rolling'] = df_sm['Integers']['count'].rolling(2).sum()
df_sm['mean'] = df_sm['sum_rolling'] / df_sm['count_rolling']

df_sm
           Integers       count_sum count_rolling       mean
                sum count                                   
Month                                                       
2018-01-01      876    16       NaN           NaN        NaN
2018-01-15      864    16    1740.0          32.0  54.375000
2018-02-01      412    10    1276.0          26.0  49.076923
2018-02-15      626    12    1038.0          22.0  47.181818
...
2018-12-01      492    10    1556.0          27.0  57.629630
2018-12-15      638    16    1130.0          26.0  43.461538

现在，只需过滤 df_sm 的奇数索引：

df_sm.iloc[1::2]['mean']

Month
2018-01-15    54.375000
2018-02-15    47.181818
2018-03-15    51.000000
2018-04-15    44.897436
2018-05-15    52.450000
2018-06-15    33.722222
2018-07-15    41.277778
2018-08-15    46.391304
2018-09-15    45.631579
2018-10-15    54.107143
2018-11-15    58.058824
2018-12-15    43.461538
Freq: 2SMS-15, Name: mean, dtype: float64

代码：

df_sm = df.resample('SMS', on='Month').aggregate(['sum', 'count'])
df_sm['sum_rolling'] = df_sm['Integers']['sum'].rolling(2).sum()
df_sm['count_rolling'] = df_sm['Integers']['count'].rolling(2).sum()
df_sm['mean'] = df_sm['sum_rolling'] / df_sm['count_rolling']
df_out = df_sm[1::2]['mean']

编辑：更改了其中一列的名称以使其更清晰