有没有更快的方法来查找数据框中的常量值范围？

Question

我想找到数据框中常量值的最长持续时间。例如，给定下面的数据帧，最长持续时间应为 30 分钟（当 value = 2 时）。

import pandas as pd

d = {'date_time': ['2016-01-01 12:00:00', '2016-01-01 12:15:00',
       '2016-01-01 12:30:00', '2016-01-01 12:45:00',
       '2016-01-01 13:00:00', '2016-01-01 13:15:00',
       '2016-01-01 13:30:00', '2016-01-01 13:45:00'], 
     'value': [1,2,2,2,4,5,5,7]}

df = pd.DataFrame(data=d)

df['date_time'] = pd.to_datetime(df['date_time'])

print(df)
            date_time  value
0 2016-01-01 12:00:00      1
1 2016-01-01 12:15:00      2
2 2016-01-01 12:30:00      2
3 2016-01-01 12:45:00      2
4 2016-01-01 13:00:00      4
5 2016-01-01 13:15:00      5
6 2016-01-01 13:30:00      5
7 2016-01-01 13:45:00      7

（注意：date_time 间隔并不总是一致的。）

我设法通过查找df.value.diff().abs()==0 的索引找到它，构建了一个复杂的函数来遍历该列表并计算范围。

由于实际的数据帧比这个例子大得多，是否有快捷函数或更快的方法来获得它而无需多次迭代？

谢谢。

编辑：

在我的情况下，相同的值可以出现在其他条纹中。一个更合适的例子是

d = {'date_time': ['2016-01-01 12:00:00', '2016-01-01 12:15:00',
       '2016-01-01 12:30:00', '2016-01-01 12:45:00',
       '2016-01-01 13:00:00', '2016-01-01 13:15:00',
       '2016-01-01 13:30:00', '2016-01-01 13:45:00',
       '2016-01-01 14:00:00', '2016-01-01 14:05:00'], 
     'value': [1,2,2,2,4,5,5,7,5,5]}

df = pd.DataFrame(data=d)

df['date_time'] = pd.to_datetime(df['date_time'])

print(df)

            date_time  value
0 2016-01-01 12:00:00      1
1 2016-01-01 12:15:00      2
2 2016-01-01 12:30:00      2
3 2016-01-01 12:45:00      2
4 2016-01-01 13:00:00      4
5 2016-01-01 13:15:00      5
6 2016-01-01 13:30:00      5
7 2016-01-01 13:45:00      7
8 2016-01-01 14:00:00      5
9 2016-01-01 14:05:00      5

在本例中，当 value = 2 时，最长持续时间仍为 30 分钟。

Answer 1

groupby + nlargest

创建一个跟踪变化的分组系列。

groupr = df.value.ne(df.value.shift()).cumsum()

创建一个映射字典，可以将groupr 键转换为df.value 列中的实际value。

mapper = dict(zip(groupr, df.value))

现在我们分组并使用ptp 和nlargest。最后，我们使用rename 和mapper 将index 值（即groupr 值）转换回value 值（呸，这有点令人困惑）。

df.groupby(groupr).date_time.apply(np.ptp).nlargest(1).rename(mapper)

value
2   0 days 00:30:00
Name: date_time, dtype: timedelta64[ns]

索引中的2是持续时间最长的value。 0 days 00:30:00 是最长的持续时间。

参考文献

np.ptp
nlargest

Answer 2

您可以按值列分组，并使用.size() 获取每个组的大小/长度。

>>> groups = df.groupby('value')
>>> groups.size()
value
1    1
2    3
4    1
5    2
7    1
dtype: int64

.idxmax() 将为您提供可以传递给.get_groups() 的最大组的索引

>>> groups.get_group(groups.size().idxmax())
             date_time  value
1  2016-01-01 12:15:00      2
2  2016-01-01 12:30:00      2
3  2016-01-01 12:45:00      2

然后您可以区分最后日期和第一个日期（假设它们已排序 - 如果没有，您可以对其进行排序）

>>> max_streak = groups.get_group(groups.size().idxmax())
>>> max_streak.iloc[-1].date_time - max_streak.iloc[0].date_time
Timedelta('0 days 00:30:00')

如果value 可以在其他条纹中重复，您可以使用以下方法进行分组：

groups = df.groupby((df.value != df.value.shift()).cumsum())

更新：任何连胜的最长持续时间

>>> groups = df.groupby((df.value != df.value.shift()).cumsum())
>>> last = groups.last()
>>> max_duration = (last.date_time - groups.first().date_time).nlargest(1)
>>> max_duration.iat[0]
Timedelta('0 days 00:30:00')
>>> last.loc[max_duration.index].value.iat[0]
2

Answer 3

您可以使用 pd.pivot_table 获取每个值的最小和最大日期时间值，然后计算它们之间的持续时间并提取最长的。

import pandas as pd
import numpy as np

d = {'date_time': ['2016-01-01 12:00:00', '2016-01-01 12:15:00',
       '2016-01-01 12:30:00', '2016-01-01 12:45:00',
       '2016-01-01 13:00:00', '2016-01-01 13:15:00',
       '2016-01-01 13:30:00', '2016-01-01 13:45:00'], 
     'value': [1,2,2,2,4,5,5,7]}

df = pd.DataFrame(data=d)

df['date_time'] = pd.to_datetime(df['date_time'])

df_pivot = pd.pivot_table(df, index='value', values='date_time', aggfunc=[np.min,np.max])

df_pivot['duration'] = df_pivot.iloc[:, 1] - df_pivot.iloc[:, 0]

print(df_pivot[df_pivot['duration'] == max(df_pivot['duration'])])