【问题标题】:What are good methods to deal with outliers when calculating mean of data? [closed]计算数据均值时处理异常值的好方法是什么? [关闭]
【发布时间】:2020-09-18 07:58:47
【问题描述】:

我有一个数据框,其中包含超过 5 年的建筑物每年的能源使用情况。为了对数据建模有代表性的年度能源使用,我必须取这些数据的平均值。由于数据可能包含异常值,因此我想正确处理异常值(但要保留尽可能多的正确数据)。 (df 可以包含空单元格(如果必须在某处做出加权决定,那么旧年份比最近几年更重要))

计算数据均值时处理异常值的好方法有哪些?

我想了想: - 计算 5 个数据列 (y_2010 - y_2014) 的平均值,然后将所有 5 个数据点与该平均值进行比较。如果有差异,例如>20%,此案例已删除,不能用于进一步分析,因为该 ID 的数据存在很大差异。 (通常,除非对建筑物进行了改造,否则 5 年的能源数据应该或多或少相同,但大多数建筑物都没有。) - 使用滚动平均值来达到适当的平均建筑能耗列 - ...

df 示例:

   ID  y_2010   y_2011   y_2012  y_2013  y_2014  mean
21524   22631    21954    22314   22032   21843   ...
28965   27456    29654    28159   28654   27345   ...
10236   32165      NaN    31678   31895   32459   ...
89754   87621    86542    87542   88456   86961   ...
56457   58951    57486     2000       0       0   ...
25984   24587    25478      NaN   24896   25461   ...

【问题讨论】:

  • 您是否真的对数据的中位数感兴趣?总的来说,我认为这个问题的答案很大程度上取决于你想对结果做什么。
  • Cross validated 可能是问这个问题的更好地方。 Stack overflow主要用于编程相关问题。
  • 这更像是一个统计问题,而不是编码问题。如果不首先检查分布,您甚至无法考虑获取样本的均值或中值。人们已经建议修剪和中位数,而 med3 仍然是一个可行的选择。其次,如果您无法确认/验证它们是噪音,异常值仍然是信息。

标签: python pandas mean outliers


【解决方案1】:

你考虑过trimmed / truncated mean 吗?

示例:

import pandas as pd
from scipy import stats

# Trim 20% on both ends
stats.trim_mean(df['y_2010'], proportiontocut=0.2)

【讨论】:

    【解决方案2】:

    你可以做这样的事情。可以更改 reject_outliers() m 参数以获得所需的灵敏度。降低 m 会移除更多的值,提高它会移除更少的值。

    def reject_outliers(df_median, series, m):
        diff = np.abs(series - df_median)
        mdev = np.median(diff)
        s = diff / mdev if mdev else np.nan
    
        return series[s < m]
    
    
    df = pd.read_clipboard(dtype=float)
    
    print(df)
        ID      y_2010  y_2011  y_2012  y_2013  y_2014
    0   21524.0 22631.0 21954.0 22314.0 22032.0 21843.0
    1   28965.0 27456.0 29654.0 28159.0 28654.0 27345.0
    2   10236.0 32165.0 NaN     31678.0 31895.0 32459.0
    3   89754.0 87621.0 86542.0 87542.0 88456.0 86961.0
    4   56457.0 58951.0 57486.0 2000.0  0.0     0.0
    5   25984.0 24587.0 25478.0 NaN     24896.0 25461.0
    

    这里我们取一个切片来获取除 ID 之外的所有列,并获取它们的中位数。使用 np.nanmedian 可以让我们拥有 nan 值。

    df_slice = df.iloc[:, 1:]
    df_median = np.nanmedian(df_slice.values)
    

    我们需要用 0.0 填充 nan 值以使 remove_outliers() 正常工作。

    df = df.fillna(0.0)
    

    这里我们在非 ID 列上运行函数。

    for col in df_slice.columns:
        df[col] = reject_outliers(est_median, df[col], m=3)
    

    现在我们将 0.0 转换为 np.nan。

    df.replace(0.0, np.nan, inplace=True)
    

    并将 ID 列转换回 int dtype。不完全确定这是否是您需要的,但应该很容易根据需要进行修改。 FWIW,pandas 不允许在 int dtype 列中使用 nan 值,如您的示例所示。

    df['ID'] = df['ID'].astype(int)
    
    print(df)
    
    
          ID    y_2010  y_2011  y_2012  y_2013  y_2014
    0   21524   22631.0 21954.0 22314.0 22032.0 21843.0
    1   28965   27456.0 29654.0 28159.0 28654.0 27345.0
    2   10236   32165.0 NaN     31678.0 31895.0 32459.0
    3   89754   NaN     NaN     NaN     NaN     NaN
    4   56457   NaN     57486.0 2000.0  NaN     NaN
    5   25984   24587.0 25478.0 NaN     24896.0 25461.0
    

    【讨论】:

      猜你喜欢
      • 2016-06-12
      • 1970-01-01
      • 2010-12-16
      • 2019-06-17
      • 2014-02-14
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2011-09-23
      相关资源
      最近更新 更多