获取csv中每个日期的最小和最大日期时间

Question

我对数据科学和 Python 有点陌生。

首先，在处理庞大的数据集（100K+ 行）时，您是否建议使用除 pandas 之外的任何其他库？

其次，让我告诉你我目前的问题。

我有一个数据集，其中有一个 Datetime 列，为了便于理解，假设我只有一个名为 date_col 的 Datetime 列。

这是我的 date_col 值的样子：

df=pd.DataFrame({'dt_col': ["2019-03-13 08:12:23", "2019-03-13 07:10:18", "2019-03-13 08:12:23", "2019-03-15 10:35:53", "2019-03-20 11:12:23", "2019-03-20 08:12:23"]})

                dt_col
0  2019-03-13 08:12:23
1  2019-03-13 07:10:18
2  2019-03-13 08:12:23
3  2019-03-15 10:35:53
4  2019-03-20 11:12:23
5  2019-03-20 08:12:23

我想提取每天的最小和最大小时数或datetime，例如2019-03-13，我想提取2019-03-13 07:10:18 和2019-03-13 08:12:23。

我很担心：

1. 从我的 DataFrame 中获取不带时间的不同日期
2. Foreach 这些日期，从我的 Dataframe 中获取最小和最大对应日期

我有点卡在第 2 步，因为我不知道如何在 Python 中真正实现这一点，我的意思是我可以通过一些循环以“旧方式”完成它，但我认为它不会完成这项工作一个大型数据集。

顺便说一句，这是我为第 1 步所做的：

dates=pd.to_datetime(df.dt_col)
distinc_dates=dates.dt.strftime("%Y-%m-%d").unique()

一旦我得到了这些最​​小值和最大值，我想在每个最小值和最大值日期时间之间生成日期时间行，例如在2019-03-13 07:10:18 和2019-03-13 08:12:23 之间，我想得到2019-03-13 07:10:18、2019-03-13 07:10:19、2019-03-13 07:10:20 ，2019-03-13 07:10:21，2019-03-13 07:10:22，......直到2019-03-13 08:12:23。

我认为这可以使用pd.date_range 来实现。所以一旦我得到了我的最小值和最大值，我想用户使用pd.date_tange 来做这样的事情：

dates=[]
for index,row in df.iterrows():
    dates.append(pd.date_range(start=row['min'], end=row['max'], freq='1S'))
print(dates)

但我知道 iterrows asf 很慢，所以我问你们在拥有庞大数据集时实现这一目标的最佳方法。

Answer 1

如果dt_col不是dtype datetime，则需要将其转换为日期时间

df.dt_col = pd.to_datetime(df.dt_col)

接下来，试试这个

df1 = df.groupby(df.dt_col.dt.date).dt_col.agg(['min', 'max'])

Out[555]:
                           min                 max
dt_col
2019-03-13 2019-03-13 07:10:18 2019-03-13 08:12:23
2019-03-15 2019-03-15 10:35:53 2019-03-15 10:35:53
2019-03-20 2019-03-20 08:12:23 2019-03-20 11:12:23

---

在有最小值和最大值之后。您可以通过pd.date_range 或重新采样以秒为单位创建范围。我认为 pd.date_range 与 listcomp 在您的情况下可能会更快地重新采样。在这里

time_arr = [pd.date_range(df1.loc[ix,'min'], df1.loc[ix,'max'], freq='S') 
                       for ix in df1.index]

或者

time_arr = [pd.date_range(x[0], x[1], freq='S') for x in df1.values]

Out[640]:
[DatetimeIndex(['2019-03-13 07:10:18', '2019-03-13 07:10:19',
                '2019-03-13 07:10:20', '2019-03-13 07:10:21',
                '2019-03-13 07:10:22', '2019-03-13 07:10:23',
                '2019-03-13 07:10:24', '2019-03-13 07:10:25',
                '2019-03-13 07:10:26', '2019-03-13 07:10:27',
                ...
                '2019-03-13 08:12:14', '2019-03-13 08:12:15',
                '2019-03-13 08:12:16', '2019-03-13 08:12:17',
                '2019-03-13 08:12:18', '2019-03-13 08:12:19',
                '2019-03-13 08:12:20', '2019-03-13 08:12:21',
                '2019-03-13 08:12:22', '2019-03-13 08:12:23'],
               dtype='datetime64[ns]', length=3726, freq='S'),
 DatetimeIndex(['2019-03-15 10:35:53'], dtype='datetime64[ns]', freq='S'),
 DatetimeIndex(['2019-03-20 08:12:23', '2019-03-20 08:12:24',
                '2019-03-20 08:12:25', '2019-03-20 08:12:26',
                '2019-03-20 08:12:27', '2019-03-20 08:12:28',
                '2019-03-20 08:12:29', '2019-03-20 08:12:30',
                '2019-03-20 08:12:31', '2019-03-20 08:12:32',
                ...
                '2019-03-20 11:12:14', '2019-03-20 11:12:15',
                '2019-03-20 11:12:16', '2019-03-20 11:12:17',
                '2019-03-20 11:12:18', '2019-03-20 11:12:19',
                '2019-03-20 11:12:20', '2019-03-20 11:12:21',
                '2019-03-20 11:12:22', '2019-03-20 11:12:23'],
               dtype='datetime64[ns]', length=10801, freq='S')]

---

注意：如果您的数据集太大并且您按秒创建范围，您可能会耗尽内存并崩溃。