在处理选定行时避免在熊猫数据框中出现 for 循环

Question

我有一个pandas 数据框df，其中包含每个驱动程序的秒到秒数据（经度、纬度等）。数据框由多个行程组成。有一个名为Event_Type 的功能可用于确定行程的开始和结束：

ignitionOnList = df[df['Event_Type'] == 'Ignition On'].index.tolist()
ignitionOffList = df[df['Event_Type'] == 'Ignition Off'].index.tolist()

所以，假设我在这个数据框中有 5 次行程。 ignitionOnList 和 ignitionOffList 的长度为 5。我想专门对每次旅行进行分析并将它们存储在 pandas 数据框中。这是我的工作：

dfTrips = pd.DataFrame({'Date' : [],'Vehicle' : [], 'Trip_Number' : [], 'Start_Time' : [], 'Duration' : [],
                    'Collision': [],'Harsh_Steering' : [], 'Harsh_Deceleration' : [], 'Harsh_Acceleration' : [],
                    'Harsh_Preferred_Speed' : []})
tripCount = -1
tripNumbers = len(ignitionOnList)
for tripNumber in range(tripNumbers):
    tripCount += 1
    dfTemp = df.loc[ignitionOnList[tripNumber]:ignitionOffList[tripNumber]+1]
    # Doing stuff to this temporary data frame and storing them, for example:
    dfTrips.loc[tripCount,'Start_Time'] = dfTemp.loc[0,'Time'].strftime("%H:%M:%S")
    dfTrips.loc[tripCount,'Finish_Time'] = dfTemp.loc[dfTemp.shape[0]-1,'Time'].strftime("%H:%M:%S")
    # Using a function I have defined named `get_steering_risk` to get risky behaviour for each trip
    dfTrips.loc[tripCount,'Harsh_Deceleration'] = get_deceleration_risk(dfTemp)
    dfTrips.loc[tripCount,'Harsh_Steering'] = get_steering_risk(dfTemp)

这行得通。但我猜在没有 for 循环的情况下，在 Python 中有更好的方法可以做到这一点。我不确定我是否可以简单地使用apply，因为我没有将相同的函数应用于整个数据框。

另一种方法可能是重新定义函数，以便它们在df 中生成一列 并将它们应用于整个数据框，然后汇总每次行程的结果。例如，get_steering_risk 函数可以定义为在df 中每秒生成0 或1，然后每次行程的1s 的百分比将是Harsh_Steering 在dfTrips 中。但是，某些功能不能应用于整个数据框。例如，一个函数对速度与加速度进行回归，它应该逐个行程地完成。解决这个问题的最佳方法是什么？谢谢。

Answer 1

我怀疑任何性能问题实际上可能是由于您的成长方式dfTrips。我发现创建许多小的，甚至是单行（或单列）数据帧，然后使用pd.concat 将它们全部连接起来，然后尝试逐行增长一个df，速度要快几个数量级。

我问了一个类似的问题。在接受的答案中查看concat 的速度有多快。

Creating large Pandas DataFrames: preallocation vs append vs concat

[编辑] 下面说明了为什么每次迭代都覆盖 temp df 并将其附加到列表中不起作用（请参阅下面的 cmets）：

df = pd.DataFrame(columns=np.arange(5))
df_list=  []
for i in np.arange(5):
    df.loc[0,:] = i
    df_list.append(df)
for d in df_list:
    print d
    print

Answer 2

我不确定这是否会节省时间，但您可以（在某种程度上）使用groupby 避免循环。首先，您将定义一个新列，例如trip_number，来索引每个唯一的行程（这可能仍涉及遍历行程编号）。然后按trip_number分组。

您可以使用apply 将单个函数单独应用于每个组。

最后，您将使用水平 concat 将它们加入到您的输出 df 中。

请参阅文档的“Felixble apply”部分。

grouped = df.groupby('trip_num')
decel_df = grouped.apply(get_deceleration_risk)
steer_df = grouped.apply(get_steering_risk)
...
dfTrips = pd.concat([decel_df, steer_df, ...], axis=1) 
dfTrips.columns = ['Harsh_Deceleration', 'Harsh_Steering', ...]