需要有关加快数据清理 python 代码的建议

Question

我正在使用 python notebook (jupyter) 运行一个辅助数据分析项目。数据集有约 1.3 行，我要做的第一件事是从数据集中的“日期”列中提取日、月和年。我写的代码执行得很好，只是它需要很长时间。我估计完成数据处理过程可能需要一个半小时。我想知道是否有人可以对我的代码提出一些建议以提高速度？

import csv
from datetime import datetime

def date_split(calendar):
    new_calendar={}
    i=0
    calendar_total=pd.DataFrame()
    num=calendar.shape[0]-1
    while i<=10000:

        tem=calendar_data.iloc[i,1]
        #extract year&month&day from day column
        listdate=datetime.strptime(tem,'%Y-%m-%d')
        new_calendar['Year']=listdate.year
        new_calendar['Month']=listdate.month
        new_calendar['Date']=listdate.day
        # add the other columns
        new_calendar['listId']=calendar.iloc[i,0]
        new_calendar['available']=calendar.iloc[i,2]
        new_calendar['price']=calendar.iloc[i,3]
        new_calendar=pd.DataFrame.from_records(new_calendar,index=[i])
        #change new_calendar data type from dic to pd dataframe        
        calendar_total=calendar_total.append(new_calendar)
        i=i+1

     return calendar_total    

同样，目标是从“日”列中提取年/月/日，并将它们制成新的数据框。在本地运行 python 中的代码也会显着加快速度吗？

谢谢

Answer 1

这就是我将年、月和日从现有数据框中提取到新数据框中的方法：

import numpy as np
import pandas as pd

df = pd.DataFrame({'date' : pd.date_range("19970202", periods=365*20)})

df2 = pd.DataFrame({'year' : df['date'].dt.year, 'month' : df['date'].dt.month, 'day' : df['date'].dt.day})

print (df)
print (df2)

我尚未针对大型数据集（130 万行？）对此进行测试，但也许这可以加快速度。