【问题标题】:implementing hot deck imputation in python在 python 中实现热甲板插补
【发布时间】:2020-03-31 04:29:06
【问题描述】:

我有一个数据集,其中包含像这样的数字和分类数据

subject_id   hour_measure   heart rate      blood_pressure       urine color
3               4                60              
4               2                70          60                   red 
6               1                            30                  yellow

我尝试了各种方法来处理丢失的数据,例如以下代码

f = lambda x: x.mean() if np.issubdtype(x.dtype, np.number) else next(iter(x.mode()), None)
df[cols] = df[cols].fillna(df[cols].transform(f))
df= df.fillna(method='ffill')

但是这些技术并没有给我想要的结果。我尝试使用热卡插补我已经了解热卡插补技术的概念,因为它是处理数字和分类数据的合适方法。

【问题讨论】:

    标签: python python-3.x pandas scikit-learn


    【解决方案1】:

    如果您将数据用作机器学习的输入,您可以将包含文本的列转换为数字(例如 LUT,或将颜色转换为相应的 RGB 值。

    关于您问题的第二部分:您能否更具体地说明您期望的结果以及您当前的代码产生的结果?

    【讨论】:

    • 在上面的代码中,如果它为患者注册了至少一个,则填充特征。但如果该功能根本没有为患者填充,在这种情况下它仍然缺失。我的问题是如何使用热甲板插补根据权重或行之间的匹配来填充这些缺失值
    • 我不喜欢将分类转换为数字,因此我询问了这种技术
    • 你的假设是对的,但是没有为用户记录任何时间的读数,这次我想根据其他行之间的匹配来计算它,
    • 我搜索了实现它的技术,发现热卡插补可以实现我想要的,但我没有找到如何实现它
    【解决方案2】:

    hot-deck 方法在 literature 中定义,因为该方法用从现有数据集中随机选择的值替换缺失值。所以,我尝试了 hot-deck 方法来处理丢失的数据,例如以下代码:

    def hotdeck_imputation(data):
        
        for c in (data.columns):
            
            data.loc[:,c] = [random.choice(data[c].dropna()) if np.isnan(i) else i for i in data[c]]
        
        return data
    

    希望对你的问题有所帮助。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2020-08-12
      • 2020-02-10
      • 2019-07-17
      • 2018-01-23
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多