【发布时间】:2020-09-18 07:58:47
【问题描述】:
我有一个数据框,其中包含超过 5 年的建筑物每年的能源使用情况。为了对数据建模有代表性的年度能源使用,我必须取这些数据的平均值。由于数据可能包含异常值,因此我想正确处理异常值(但要保留尽可能多的正确数据)。 (df 可以包含空单元格(如果必须在某处做出加权决定,那么旧年份比最近几年更重要))
计算数据均值时处理异常值的好方法有哪些?
我想了想: - 计算 5 个数据列 (y_2010 - y_2014) 的平均值,然后将所有 5 个数据点与该平均值进行比较。如果有差异,例如>20%,此案例已删除,不能用于进一步分析,因为该 ID 的数据存在很大差异。 (通常,除非对建筑物进行了改造,否则 5 年的能源数据应该或多或少相同,但大多数建筑物都没有。) - 使用滚动平均值来达到适当的平均建筑能耗列 - ...
df 示例:
ID y_2010 y_2011 y_2012 y_2013 y_2014 mean
21524 22631 21954 22314 22032 21843 ...
28965 27456 29654 28159 28654 27345 ...
10236 32165 NaN 31678 31895 32459 ...
89754 87621 86542 87542 88456 86961 ...
56457 58951 57486 2000 0 0 ...
25984 24587 25478 NaN 24896 25461 ...
【问题讨论】:
-
您是否真的对数据的中位数感兴趣?总的来说,我认为这个问题的答案很大程度上取决于你想对结果做什么。
-
Cross validated 可能是问这个问题的更好地方。 Stack overflow主要用于编程相关问题。
-
这更像是一个统计问题,而不是编码问题。如果不首先检查分布,您甚至无法考虑获取样本的均值或中值。人们已经建议修剪和中位数,而 med3 仍然是一个可行的选择。其次,如果您无法确认/验证它们是噪音,异常值仍然是信息。
标签: python pandas mean outliers