用 Pandas 计算“min”时忽略不匹配特定格式的字符串数据

Question

我有一个 DataFrame 列“日期时间”，其值采用这种格式：

'2016-08-01 13:43:35'

我想找到最小值和最大值。问题是某些行缺少时间值，因此它们看起来像这样：

'2016-07-29 '

在计算最小值和最大值时如何排除缺失数据的行？

这是我找到最小值的方法：

min_ = df['datetime'].min()

我试图找到的最小值是包含两者的最早日期/时间组合。因此，例如从我的数据中：

'7/29/2016 11:02:38' 将是所需的值。

Answer 1

您可以将具有特定格式的值转换为日期时间，其余的将是 NaT。如果您在结果系列中取最小值，它将忽略 NaT。

df['datetime'] = ['2016-08-01 13:43:35', '2016-06-01 13:43:35', '2013-08-01 13:43:35',
                  '2016-07-29  ']
df
Out: 
              datetime
0  2016-08-01 13:43:35
1  2016-06-01 13:43:35
2  2013-08-01 13:43:35
3         2016-07-29  


pd.to_datetime(df['datetime'], format='%Y-%m-%d %H:%M:%S', errors='coerce')
Out: 
0   2016-08-01 13:43:35
1   2016-06-01 13:43:35
2   2013-08-01 13:43:35
3                   NaT
Name: datetime, dtype: datetime64[ns]

pd.to_datetime(df['datetime'], format='%Y-%m-%d %H:%M:%S', errors='coerce').min()
Out: Timestamp('2013-08-01 13:43:35')

Answer 2

由于您的日期字符串具有递减的数量级（即年 --> 月 --> ...），因此实际上不需要转换日期时间对象。

此外，由于您的日期字符串都应该是固定宽度的，您真正需要做的就是删除缺少值的行，然后直接比较日期字符串。

df = pd.DataFrame({'datetime': ['2016-08-01 13:43:35', '2016-06-01 13:43:35', '2013-08-01 13:43:35', '2016-07-29  ']})

min_dt = df[df.datetime.str.len() == 19].min()
print min_dt
# 2013-08-01 13:43:35

max_dt = df[df.datetime.str.len() == 19].max()
print max_dt
# 2016-08-01 13:43:35

[编辑] 由于运行时间的话题出现在 cmets 中，我做了一些 %timeit 测试，发现保留日期字符串（而不是使用 to_datetime）大约快 20 倍。但是对于 1M 行，这两种方法的速度都可以接受。

print data[0:4] # Data list of 1M date strings.
# >>> ['01/01/2015 00:00:00', '01/01/2015 00:05:00', '01/01/2015 00:10:00', '01/01/2015 00:15:00']

print len(data)
# >>> 1047870

df = pd.DataFrame({'datetime': data})
df2 = pd.DataFrame({'datetime': data})

%timeit -n5 d=pd.to_datetime(df['datetime'], format='%m/%d/%Y %H:%M:%S', errors='coerce').min()
# >>> 5 loops, best of 3: 5 s per loop

%timeit -n5 df2[df2['datetime'].str.len() == 19].min()
# >>> 5 loops, best of 3: 232 ms per loop