将数据帧分割成区间以进行统计分析

【问题标题】：slice the dataframe into intervals for statistical analysis | python将数据帧分割成区间以进行统计分析 | Python
【发布时间】：2016-01-11 14:21:43
【问题描述】：

我迷失在一个练习中，我需要为每个会话聚合数据框的不同特征，在某些日期时间点之间给出，以便最终数据具有以下格式：

          {'Sessions': [{'SessionId':'<Int>', 'MaxNote':'<Int>', 
            'groups': [{'groupId':'Int', 
        'Students':[{'studentId':<Int>,   'date':'datetime', 'MaxEnglishNote':'<Int>',
      'Math':'<Int>', 'Philosophy':'<Int>'}, 
            {'studentId':<Int>, 'date':'datetime', 'MaxEnglishNote':'<Int>', 
    'Math':'<Int>', 'Philosophy':'<Int>'}]},
            {'groupId':'Int', 'Students':
            [{'studentId':<Int>, 'date':'datetime', 'MaxEnglishNote':'<Int>',
 'Math':'<Int>', 'Philosophy':'<Int>'},
             {'studentId':<Int>, 'date':'datetime','MaxEnglishNote':'<Int>',
 'Math':'<Int>', 'Philosophy':'<Int>'}]}]}

我所做的是创建存储这些会话的类 json 对象，但接下来的转换和聚合具有唯一 ID 的值似乎很困难。请注意，与唯一 StudentID 关联的所有值都与 StudentID 同时发生所以我征求你的意见：我应该以其他形式存储会话间隔，更适合迭代行、聚合等，还是有解决方案来迭代 json-like object 中的嵌套列表？我想要实现的最终结果是用于不同统计和机器学习任务的平面字典

我实际拥有的类 json 对象是这样的：

 [[{'date':'2013-10-09 09:00:00', 'value':'545747', 'field':'GroupeID'},
     {'date':'2013-10-09 09:00:00',  'value':'66463', 'field': 'StudentID'},
     {'date':'2013-10-09 09:00:00' , 'value':'197290' ,'field': 'Philosophy'},
    {'date':'2013-10-09 09:90:00','value':'470186' , 'field':'EnglishBegin'},
    {'date':'2013-10-09 09:00:00' , 'value':'470186' , 'field': 'EnglishEnd'},
     {'date':'2013-10-09 09:00:00' , 'value':'470186', 'field': 'EnglishMiddle'},
     {'date':'2013-10-09 09:00:00' , 'value':'181314' , 'field': 'Math'},
    {'date':'2013-10-09 09:35:00',  'value':'969427' ,'field': 'StudentID'},
    {'date':'2013-10-09 09:35:00' , 'value':'65645' , 'field':'EnglishEnd'},
     {'date':'2013-10-09 09:35:00' , 'value':'45433' , 'field':'EnglishMiddle'},
       {'date':'2013-10-09 09:35:00' , 'value':'181314' ,'field': 'Math'}
   {'date':'2013-10-09 09:35:00' , 'value':'003698' , 'field':'Philosphie'}],
   [{...},

         ......

我从带有列的数据框中得到的；日期、字段、值，代码如下：

def create_interval():
    intervales=[]
    for index, row in bounds.iterrows():
        s = row['date_start']
        e = row['date_end']
        mask = (df['date'] > s) & (df['date'] < e)
        df_interval=df.loc[mask]
        intervales.append([{k:df_interval.values[i][v] for v,k in  enumerate(df_interval.columns)} for i in range(len(df_interval))])

    return intervales

因此，如果您知道如何存储 df_interval 以进行最佳解析和分析，它可以大大帮助我！

【问题讨论】：

标签： python json pandas statistics dataframe

【解决方案1】：

您有关系数据并希望执行聚合。如何使用具有适当模型的关系数据库将所有内容链接在一起并计算聚合？

【讨论】：

【解决方案2】：

在 StackExchange 上为他们找到这个问题和答案之后 https://softwareengineering.stackexchange.com/questions/235707/using-a-relational-database-vs-json-objects-for-event-activity-data

我意识到，使用 pandas 而不是使用 json-objects 留在数据帧上可能是我拥有的数据类型的最佳解决方案

【讨论】：