【问题标题】:Finding the median based on conditions to fill in missing values根据条件查找中位数以填补缺失值
【发布时间】:2019-12-12 05:56:54
【问题描述】:

我有一个包含州、县、年份和 hpi(房价指数)的数据框。 hpi 列中缺少值。填充这些值的方法是取 hpi 值的中值并用该中值填充缺失值。

我想做的是根据年份、州和县名称查找中位数,对于缺少的值,用中位数填写。对我来说,这似乎比取整个数据集的中位数更可靠。

这是我拥有的数据示例:

因此中位数是 184.02,我会用它填充那些空值。

这是我在 Python 中尝试过的:

def get_median(year, state, county):
    for years in data['Year']:
        for states in data['state']:
            for counties in data['County_name']:
                if years == year and states == state and counties == county:
                    return np.median(data['hpi'])
print(get_median(2012, 'Alaska', 'Anchorage Municipality'))

由于我的数据比提供的样本大得多,因此上面的函数需要很长时间才能运行,并且时间复杂度为 O(n^3),所以不太好。有没有比 Pythonic 更快的方法?

【问题讨论】:

    标签: pandas numpy


    【解决方案1】:

    你可以使用groupby:

    medians = df.groupby(['year','state','County_name'])['hpi'].transform('median')
    
    df['hpi'] = df['hpi'].fillna(medians)
    

    如果某个县没有任何数据:

    medians = (df.groupby(['year', 'state', 'County_name'])['hpi']
                 .transform(lambda x: x.median() if x.notnull().any() else np.nan)
              )
    

    【讨论】:

    • 我收到此错误:DataError: No numeric types to aggregate
    • 确保您的 hpi 列是数字。如果已经存在,则可能有某个县没有任何数据。
    • 是的,data['hpi'] 列是浮动类型的。好吧,对于那些不知道的县来说,有没有办法跳过你的代码中的那些?
    【解决方案2】:

    您可以使用此代码获取每个组的中位数,您可以使用 pandas 附带的中位数,因为它默认忽略 NaN:

    data_median = data.groupby(['Year','state','County_name']).agg({'col1':'median'}).reset_index().rename(columns={'col1':'median_hpi'})
    

    请注意,我重命名了该列以使下一步更容易。可能有更干净的方法可以做到这一点,但这是我通常使用的快速方法。

    一旦你有了一个带有中位数的数据框,你可以将它连接回原始数据框,如果 hpi 为空,则合并/combine_first() 以获取中位数。

    data = data.merge(data_median, on = ['Year','state','County_name'])
    data['filled_hpi'] = data.hpa.combine_first(data.median_hpi)
    

    这应该可以更快地解决问题。

    【讨论】:

      猜你喜欢
      • 2022-11-30
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2019-11-27
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多