从大型时间序列数据帧生成每日周期间隔数据帧

Question

我有使用以下查询提取的 31 天时间序列数据集。

import pymysql
import pymysql.cursors
import pandas as pd
import sys
import csv

conn = pymysql.connect(host='',user='',password='',db='',port='',charset='utf8mb4',cursorclass=pymysql.cursors.DictCursor)

dbquery = """SELECT * FROM 'table_name' where 'date' between ('2012-03-01 00:00:00') and ('2012-03-31 23:59:59') """

df = pd.read_sql_query(dbquery, conn)
df.to_csv('one_month_timeseries_data.csv', sep=',', encoding='utf-8')

提取的数据帧结构如下。

id date                  value
1  2012-01-01 00:00:00   33
5  2012-01-02 00:00:01   15
.
.
.
.
2  2012-01-30 23:59:58   10
5  2012-01-31 23:59:59   5

我想进一步循环遍历整个数据集的每一天（00:00:00 - 23:59:59），并将数据帧分成 3 个独立的数据帧，每个数据帧间隔 8 小时，每个数据帧分组为 sleep (00:00:00 - 07:59:59), 工作 (08:00:00 - 15:59:59), 家 (16:00: 00 - 23:59:59)。

预期输出：

例如，第 1 天：

day1_df_sleep：

id date                  value
1  2012-01-01 00:00:00   33
.
.
.
.
3  2012-01-01 07:59:59   10

day1_df_work：

id date                   value
1  2012-01-01 08:00:00    12
.
.
.
.
4  2012-01-01 15:59:59    50

day1_df_home：

id date                   value
1  2012-01-01 16:00:00    12
.
.
.
.
4  2012-01-01 23:59:59    50

等..直到第 31 天

我已经阅读了 pandas 的 date_range() 函数，但我不确定在只有日期列的情况下如何最好地实现它。

如何最好地使用 pandas 实现这一点？

Answer 1

使用dt.day 和dt.hour 并通过按一天中的不同日期和时间进行过滤来创建新的数据框。您不能使用between() 作为.lt 和.ge 的替代品，因为在您想要的输出中，下限是包含的，而上限是独占的。作为一个单独的问题，您可以循环遍历每一天，下面是您每天要做的事情，您可以在循环遍历时为一天设置一个变量。每天循环并为每一天创建数据帧显然会稍微复杂一些。

我不知道按天创建分隔数据帧的原因，但为什么不只使用一个带有变量的函数来返回输出，您可以使用用户输入的参数调用该函数，将其写回 sql 或excel 等，而无需创建单独的数据框。

df['date'] = pd.to_datetime(df['date'])
day1_df_sleep = df[df['date'].dt.day == 1 & df['date'].dt.hour.ge(0) & df['date'].dt.hour.lt(8)]
day1_df_work = df[df['date'].dt.day == 1 & df['date'].dt.hour.ge(8) & df['date'].dt.hour.lt(16)]
day1_df_home = df[df['date'].dt.day == 1 & df['date'].dt.hour.ge(16) & df['date'].dt.hour.lt(24)]

例如，您可以执行以下操作来循环：

df = d.copy()
df['date'] = pd.to_datetime(df['date'])
for i in range(1,31):
    day1_df_sleep = df[df['date'].dt.day == i & df['date'].dt.hour.ge(0) & df['date'].dt.hour.lt(8)]
    day1_df_work = df[df['date'].dt.day == i & df['date'].dt.hour.ge(8) & df['date'].dt.hour.lt(16)]
    day1_df_home = df[df['date'].dt.day == i & df['date'].dt.hour.ge(16) & df['date'].dt.hour.lt(24)]
    print(day1_df_sleep, day1_df_work, day1_df_home)