从一堆 csv 文件中提取与一列中提到的特定日期匹配的数据行

Question

我有 61 个与一年中的 61 天相关的 csv 文件，但在每个文件中不仅有该日期的数据，还有对应于其他 61 天的数据。数据的形式是

4d7cc82e33d042fdf13b9149bcdacee1;2015-03-01 05:21.:52;45.631616;9.2073;20;0
4d7cc82e33d042fdf13b9149bcdacee1;2015-03-01 05:22:51;45.6316;9.2073;20;0
4d7cc82e33d042fdf13b9149bcdacee1;2015-03-01 05:23:51;45.6316;9.207333;20;0
4d7cc82e33d042fdf13b9149bcdacee1;2015-03-01 05:24:51;45.6316;9.207333;20;0
6b1d2f4037aa849e4f8274b61e6cb002;2015-02-28 23:37:47;45.30044;8.85833;20;49
6b1d2f4037aa849e4f8274b61e6cb002;2015-02-28 23:37:49;45.30035;8.85797;20;53
6b1d2f4037aa849e4f8274b61e6cb002;2015-02-28 23:37:51;45.30026;8.85758;20;57
6b1d2f4037aa849e4f8274b61e6cb002;2015-02-28 23:37:53;45.30017;8.85717;20;60
6b1d2f4037aa849e4f8274b61e6cb002;2015-02-28 23:37:55;45.30006;8.85674;20;64

例如，在您看到的第二列中报告了日期和时间，一组行与 2015-03-01 相关，一组行与 2015-02-28 相关 我想读取这 61 个文件并提取与每一天相关的行并将它们写入每天的其他文件中，并获取每个文件只有一天的信息。 我是否必须将一个数据框中的所有文件连接到这项工作。到目前为止我已经尝试过：

data_path = " ... "
fp = glob.glob(os.path.join(data_path, "output_*")
for j in fp:
    df = pd.read_csv(j, sep=";",header=None,names = 
['trip','dateandtime','lat','lon','vehicle','velocity'])
    df = pd.to_csv(Path2, sep=" ",header = None, names = 
['trip',df.loc[df['dateandtime'] == '2015-03-01 
*','lat','lon','vehicle','velocity'])

但这似乎是无稽之谈。提前谢谢！

Answer 1

这样的事情怎么样：

from datetime import datetime
import pandas as pd
import glob

data_path = '/my/data/'
columns = ['trip', 'dateandtime', 'lat', 'lon', 'vehicle', 'velocity']
df_all = pd.DataFrame(columns=columns)

for csv_filename in glob.glob(os.path.join(data_path, "output_*.csv")):
    df = pd.read_csv(csv_filename, sep=';', header=None, names=columns, parse_dates=['dateandtime'])
    df_all = df_all.append(df)

df_all.sort_values('dateandtime', inplace=True)

for key, group in df_all.groupby(pd.Grouper(key='dateandtime', freq='1D')):
    if not group.empty:
        csv_name = key.strftime('%Y-%m-%d.csv')
        group.to_csv(csv_name, sep=';', index=False)

它将所有可能的 CSV 文件读入单个数据帧，按日期对它们进行排序，然后分组写入。 CSV 文件的名称是日期。