【问题标题】:Python - Pandas: combination of unique rows and their statisticsPython - Pandas:独特行及其统计数据的组合
【发布时间】:2015-08-07 14:41:32
【问题描述】:

我一直在网上搜索是否有一种简单的方法可以使用 python/pandas 从原始数据框中获取仅包含唯一行及其基本统计信息(出现次数、平均值等)的数据框。

到目前为止,我的努力只完成了一半: 我找到了如何使用

获取所有唯一行
 data.drop_duplicates

但是我不太确定我应该如何轻松检索我想要的所有统计数据。我可以在 groupedby 上做一个 for 循环,但这会很慢。

我想到的另一种方法是使用 groupby,然后使用 describe,例如,

data.groupby(allColumns)[columnImInterestedInForStats].describe()

但事实证明,对于 allColumns 中的 19 列,这只会返回一行,根本没有统计信息。令人惊讶的是,如果我只为 allColumns 选择一个小子集,我实际上确实得到了该子集及其所有统计信息的每个独特组合。我的期望是,如果我填写 groupby() 中的所有 19 列,我会得到所有唯一组?

数据示例:

df = pd.DataFrame([[1.1, 1.1, 1.1, 2.6, 2.5, 3.4,2.6,2.6,3.4,3.4,2.6,1.1,1.1,3.3], list('AAABBBBABCBDDD'), ['1','3','3','2','4','2','5','3','6','3','5','1','1','1']]).T
df.columns = ['col1','col2','col3']

想要的结果:

col2 col3  mean  count and so on
A    1      1.1    1
     3      4.8    3
B    2      6.0    2
     4      2.5    1
     5      5.2    2
     6      3.4    1
C    3      3.4    1
D    1      5.5    3

进入数据框。

我确定它一定是我缺少的一些非常琐碎的东西,但我找不到正确的答案。提前致谢。

【问题讨论】:

  • 我发现,当我尝试 group by 中的许多列时,比如 14,实际上似乎只有一小部分数据被使用和报告。例如,2066 行的数据集仅报告最后 50 行。好像前 2000 年都不存在?

标签: python pandas describe


【解决方案1】:

你可以使用 agg() 来达到想要的效果。

import pandas as pd
import numpy as np

df = pd.DataFrame([[1.1, 1.1, 1.1, 2.6, 2.5, 3.4,2.6,2.6,3.4,3.4,2.6,1.1,1.1,3.3], list('AAABBBBABCBDDD'), \
                   ['1','3','3','2','4','2','5','3','6','3','5','1','1','1']]).T
df.columns = ['col1','col2','col3']
df['col1'] = df['col1'].astype(float)

df.groupby(['col2','col3'])['col1'].agg([np.mean,'count',np.max,np.min,np.median])

df.groupby 中的 'col1' 可以放置您感兴趣的列列表。

【讨论】:

  • 感谢您的回复。您显示的代码正是我尝试过的,但是对于许多列(14+),它似乎不起作用。它只会忘记除最后一个之外的所有组,就好像有限制一样。我还没有在网上找到任何关于此类限制的信息。
  • 我猜你在这 14+ 列中有一些缺失值。 Pandas groupby 省略了缺失值。您可以在分组依据的列上使用df.fillna()。请看link
  • 我认为这就是原因!非常感谢您指出这个噱头!
猜你喜欢
  • 2021-09-23
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2021-12-15
  • 1970-01-01
  • 2011-03-02
  • 2018-01-27
  • 1970-01-01
相关资源
最近更新 更多