时间序列上的 Python 聚合答案

【问题标题】：Python Aggregation on time-series时间序列上的 Python 聚合
【发布时间】：2018-07-24 22:42:36
【问题描述】：

我有一个这样的数据框 df

project_ID country   prj_start  prj_end  revenue   profit
 2131      USA       201603     201703   100000     30000
 5124      UK        201502     201606   1500       1000 
 1245      UK        201010     201710   1800       1000

我想找出每个月和国家/地区的活跃项目数量，并将它们的收入和利润相加。输出看起来像这样

Month   country   active_projects   revenue profit
201603  USA         15            500000  100000
201603  UK          20            150000  100000
201604  Germany     30            1000000 500000

我的第一个编程语言是 C++，所以我倾向于使用循环来做事。我几乎成功地创建了这样的月槽。

#making a monthlist dataframe with count column to hold no. of active projects
monthlist = pd.DataFrame(columns= ["months","count"])

#making a new dataframe to insert the results into
newdf = pd.DataFrame(columns=["month", "country","active_prj_count","rev","gp"])
#making the month slots, not concerned with future values
monthlist['months']=pd.date_range(start = min(df['prj_start']), end =datetime.date.today(), freq='M').map(lambda x: 100*x.year + x.month)
monthlist['count']=0

#traversing through the original dataframe and monthlist to insert a new row into newdf 

#everytime the project start is less than and prj end is greater than the month slot
i=0
for y in range(len(df)):
    for x in range(len(monthlist)):
        if(df.loc[y,'prj_start']<=monthlist.loc[x,'months'] & df.loc[y,'prj_end']>=monthlist.loc[x,'months']):
            monthlist.loc[x,'count']=monthlist.loc[x,'count']+1
            newdf.loc[i] = [monthlist.loc[x,'months'],df.loc[y,'country']
                                 ,monthlist.loc[x,'count'],df.loc[y,'revenue'],df.loc[y,'profit']]
            i=i+1

这个解决方案有效，但我不得不承认它不是很聪明，计算效率也不是很高。需要一段时间来处理。任何有想法通过可能使用 pandas 或 numpy 函数来改进代码的人？

【问题讨论】：

你的数据框有多大？如果不是很大，一种解决方案是创建一个新列，其中包含开始和结束之间所有月份的列表。然后展开数据框，以便每个项目的每个月都有一个单独的行。然后，最后做一个简单的 groupby。
你的月份名称真的那么不规则吗？您似乎混合了缩写和写出的名称。而且我不明白这上面有什么顺序（您似乎将它们与<进行比较，那么它们的类型是什么，str？）
@Graipher，我仅通过 map 函数将日期转换为包含月份和年份的整数。这使得比较更简单。所以实际上月份就像 201005、201507 (YYYYMM)。我将在原帖中进行编辑。
这将使您大部分时间到达那里，但您需要考虑跨多个月的项目。 df.groupby(['pr_start','country']).agg({'projectid':'count', 'revenue': 'sum', 'profit': 'sum'}).rename(columns={'projectid':'Active Projects'})
我刚刚意识到我所说的与@jp_data_analysis 基本相同。一旦你将每个月分成单独的行，然后运行类似于我展示的 groupby 的东西。你快到了！

标签： python python-3.x python-2.7 pandas numpy

【解决方案1】：

您可以对每一行应用函数并提取每个项目所在的日期，然后按月份和国家/地区汇总。

>>> df 

   project_ID country  prj_start  prj_end  revenue  profit
0        2131     USA     201603   201703   100000   30000
1        5124      UK     201502   201606     1500    1000
2        1245      UK     201010   201710     1800    1000

让我们添加更多样本，以便每个月有不同的国家/地区：

>>>  df_new = pd.DataFrame([
                [1111, 'Germany',201603, 201703,1000, 4000],
                [4111, 'Germany',201603, 201703,4000, 6000],
                [3112, 'Germany',201010, 201703,4000, 6000],
                [2112, 'Germany',201603, 201703,4000, 6000],
                [2116, 'Germany',201502, 201710,4000, 6000]],
                columns=df.columns)

>>> df_new

   project_ID  country  prj_start  prj_end  revenue  profit
0        1111  Germany     201603   201703     1000    4000
1        4111  Germany     201603   201703     4000    6000
2        3112  Germany     201010   201703     4000    6000
3        2112  Germany     201603   201703     4000    6000
4        2116  Germany     201502   201710     4000    6000

>>> df_ = pd.concat([df,df_new],axis=0,ignore_index=True)

   project_ID  country  prj_start  prj_end  revenue  profit
0        2131      USA     201603   201703   100000   30000
1        5124       UK     201502   201606     1500    1000
2        1245       UK     201010   201710     1800    1000
3        1111  Germany     201603   201703     1000    4000
4        4111  Germany     201603   201703     4000    6000
5        3112  Germany     201010   201703     4000    6000
6        2112  Germany     201603   201703     4000    6000
7        2116  Germany     201502   201710     4000    6000

将prj_start和prj_end转换为日期时间并指明format="%Y%m"的格式进行解析：

>>> df_[['prj_start','prj_end']] =  df_[['prj_start','prj_end']].apply(pd.to_datetime, format="%Y%m")

>>> df_ 

   project_ID  country  prj_start    prj_end  revenue  profit
0        2131      USA 2016-03-01 2017-03-01   100000   30000
1        5124       UK 2015-02-01 2016-06-01     1500    1000
2        1245       UK 2010-10-01 2017-10-01     1800    1000
3        1111  Germany 2016-03-01 2017-03-01     1000    4000
4        4111  Germany 2016-03-01 2017-03-01     4000    6000
5        3112  Germany 2010-10-01 2017-03-01     4000    6000
6        2112  Germany 2016-03-01 2017-03-01     4000    6000
7        2116  Germany 2015-02-01 2017-10-01     4000    6000

现在让我们定义一个函数来转换行并应用它：

def transform_row(row):
    date_index = pd.date_range(row['prj_start'].min(),
                               row['prj_end'].max(), freq='MS') 

    row_out = pd.DataFrame(np.repeat(row.values, 
                                     len(date_index.values),axis=0), 
                           index=date_index, columns=row.columns)
    row_out.index.name = 'date'
    return row_out.reset_index()

df_transformed = pd.concat([transform_row(row.to_frame().T) 
                            for i,row in df_.iterrows()],axis=0)

然后，最后应用pivot_table 按国家和日期聚合值：

df1 = pd.pivot_table(df_transformed, 
                     index=['date','country'],
                     values=['revenue','profit'],
                     aggfunc=np.sum,fill_value=0)

df2 = pd.pivot_table(df_transformed,
                     index=['date','country'],
                     values=['project_ID'],
                     aggfunc=len,fill_value=0)

最后，将datafame串联起来，按月获取数据：

pd.concat([df1,df2],axis=1)

                    profit  revenue  project_ID
date       country                             
2010-10-01 Germany    6000     4000           1
           UK         1000     1800           1
2010-11-01 Germany    6000     4000           1
           UK         1000     1800           1
2010-12-01 Germany    6000     4000           1
           UK         1000     1800           1
2011-01-01 Germany    6000     4000           1
           UK         1000     1800           1
2011-02-01 Germany    6000     4000           1
           UK         1000     1800           1
2011-03-01 Germany    6000     4000           1
           UK         1000     1800           1
2011-04-01 Germany    6000     4000           1
           UK         1000     1800           1
2011-05-01 Germany    6000     4000           1
           UK         1000     1800           1
2011-06-01 Germany    6000     4000           1
           UK         1000     1800           1
2011-07-01 Germany    6000     4000           1
           UK         1000     1800           1
2011-08-01 Germany    6000     4000           1
           UK         1000     1800           1
2011-09-01 Germany    6000     4000           1
           UK         1000     1800           1
2011-10-01 Germany    6000     4000           1
           UK         1000     1800           1
2011-11-01 Germany    6000     4000           1
           UK         1000     1800           1
2011-12-01 Germany    6000     4000           1
           UK         1000     1800           1
...                    ...      ...         ...
2016-10-01 USA       30000   100000           1
2016-11-01 Germany   28000    17000           5
           UK         1000     1800           1
           USA       30000   100000           1
2016-12-01 Germany   28000    17000           5
           UK         1000     1800           1
           USA       30000   100000           1
2017-01-01 Germany   28000    17000           5
           UK         1000     1800           1
           USA       30000   100000           1
2017-02-01 Germany   28000    17000           5
           UK         1000     1800           1
           USA       30000   100000           1
2017-03-01 Germany   28000    17000           5
           UK         1000     1800           1
           USA       30000   100000           1
2017-04-01 Germany    6000     4000           1
           UK         1000     1800           1
2017-05-01 Germany    6000     4000           1
           UK         1000     1800           1
2017-06-01 Germany    6000     4000           1
           UK         1000     1800           1
2017-07-01 Germany    6000     4000           1
           UK         1000     1800           1
2017-08-01 Germany    6000     4000           1
           UK         1000     1800           1
2017-09-01 Germany    6000     4000           1
           UK         1000     1800           1
2017-10-01 Germany    6000     4000           1
           UK         1000     1800           1

【讨论】：

感谢您调查它..但我认为您没有正确理解问题..一个项目在开始日期和结束日期之间的所有月份都处于活动状态。所以我想统计每个国家每月活跃的所有项目，并分别汇总它们的财务状况。希望这可以澄清..e.g.在您创建的数据框中。对于德国的活动项目，201604 的计数应为 4。不要担心为财务创造每月价值，我已经做到了。只需要弄清楚其余部分。
现在看看。如果数据框不太大，它应该可以正常工作。
什么是 df_grouped 数据框？还是只是 df_transformed 的错字？
工作就像一个魅力！你是我个人的英雄。如果可以的话，我会投票两次:)
总是乐于提供帮助:)

【解决方案2】：

好的，这样的事情怎么样（取决于你如何计算每月利润，只是一个例子）：

d={'projectid':[2131,5124,1245],'country':['USA', 'UK', 'UK'],'pr_start':['2016-03','2015-02','2010-10'],'pr_end':['2017-03','2016-06','2017-10'], 'total_revenue':[100000, 1500, 1800], 'total_profit':[30000, 1000, 1000]}
df = pd.DataFrame(data=d)

df['pr_end'] = pd.to_datetime(df['pr_end'])
df['pr_start'] = pd.to_datetime(df['pr_start'])
df['project_length'] = df['pr_end'].dt.to_period('M') - df['pr_start'].dt.to_period('M')
df['monthly_revenue'] = df['total_revenue'] / df['project_length']
df['monthly_profit'] = df['total_profit'] / df['project_length']

for (idx, row) in df.iterrows():
    if row.project_length > 1:
        df.loc[idx, 'pr_end'] = df.loc[idx, 'pr_start'] + pd.DateOffset(months=1)
        for i in range(1, row.project_length):
            df2 = pd.DataFrame([row])
            df2['pr_start'] = row.pr_start + pd.DateOffset(months=i)
            df2['pr_end'] = row.pr_start + pd.DateOffset(months=i+1)
            df = df.append(df2)

df = df.sort_values(by='pr_start').sort_index(kind = 'mergesort')

print(df.groupby(['pr_start','country']).agg({'projectid':'count', 'monthly_revenue': 'sum', 'monthly_profit': 'sum'}).rename(columns={'projectid':'Active Projects'}))

【讨论】：