修复熊猫数据框中的日期

Question

场景：我正在使用 python 代码从 excel 文件中提取数据。目前，我的代码将每个文件读入单个数据框并将它们加入数据框列表中。

问题： 原始的 excel 源文件是按列（日期）和标识符（行）组织的。其中一些文件具有字符串格式的日期，例如 20170611 或 11062015。

到目前为止我尝试了什么：从之前的 SO 研究中，我发现了一些关于这个主题的问题和答案，但它们都提到了一个单一的转换，例如：

datetime.datetime.strptime('24052010', "%d%m%Y").date()
datetime.date(2010, 5, 24)

这是我需要的那种操作，但我想在循环中对受影响文件的所有列标题执行它。

问题：可以这样做吗？怎么办？

Obs：我想过用一些代码循环遍历excel文件来选择受影响的文件，但是由于我不知道该怎么做，所以我会手动选择文件并让它们单独固定。所以我的目标只是循环列并修复这些文件的日期。

当前从 excel 获取数据的代码：

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import glob, os
import datetime as dt
from datetime import datetime
import matplotlib as mpl


directory = os.path.join("C:\\","Users\\DGMS\\Desktop\\final 2")        

list_of_dfs = []
for root,dirs,files in os.walk(directory):
    for file in files:
        f = os.path.join(root, file)
        print(f)
        list_of_dfs .append(pd.read_excel(f))

Answer 1

你可以试试this。它可能会解决您的问题，因为它可以解释多种书写日期的方式。

columns = df.columns
rename_cols = {}
for col in columns:
    rename_cols[col] = parse(col)

df.rename(columns=rename_cols, axis=1)

Answer 2

您可以使用pandas.to_datetime。它在推断日期时间格式时做了一个合理的猜测。如果后面年份的所有格式都有日期（而不是月份），您可以使用 dayfirst=True 参数

我也更喜欢pathlib.Path.glob 而不是os.walk

我会做这样的事情

from pathlib import Path
start_dir = Path('.')
excel_files  = start_dir.glob('*/*.xlsx')
list_of_dfs = [(filename, pd.read_excel(filename, header=0, dayfirst=True)) for filename in excel_files]

for filename, df in list_of_dfs:
    try:
        datetimes = pd.to_datetime(df.columns)
        df.columns = datetimes 
    except ValueError:
        print('failed to parse column in %s' % filename