【问题标题】:Fill multiple nulls for categorical data为分类数据填充多个空值
【发布时间】:2014-12-15 16:58:37
【问题描述】:

我想知道是否有一种 Python 方法可以通过从唯一值的分布中随机选择来填充分类数据的空值。基本上根据列中值的现有分布按比例/随机填充分类空值...

-- 下面是我已经在做的一个例子

--为了节省时间,我用数字分类,不知道怎么随机输入字母

import numpy as np
import pandas as pd
np.random.seed([1])
df = pd.DataFrame(np.random.normal(10, 2, 20).round().astype(object))
df.rename(columns = {0 :  'category'}, inplace = True)
df.loc[::5] = np.nan
print df

   category
0       NaN
1        12
2         4
3         9
4        12
5       NaN
6        10
7        12
8        13
9         9
10      NaN
11        9
12       10
13       11
14        9
15      NaN
16       10
17        4
18        9
19        9

这就是我当前输入值的方式

df.category.value_counts()

9     6
12    3
10    3
4     2
13    1
11    1

df.category.value_counts()/16

9     0.3750
12    0.1875
10    0.1875
4     0.1250
13    0.0625
11    0.0625

# to fill categorical info based on percentage
category_fill = np.random.choice((9, 12, 10, 4, 13, 11), size = 4, p = (.375, .1875, .1875, .1250, .0625, .0625))
df.loc[df.category.isnull(), "category"] = category_fill

最终输出有效,只是需要一段时间来编写

df.category.value_counts()

9     9
12    4
10    3
4     2
13    1
11    1

是否有更快的方法或可以达到此目的的功能?

感谢您的所有帮助!

【问题讨论】:

    标签: python pandas null categorical-data


    【解决方案1】:

    你可以使用stats.rv_discrete:

    from scipy import stats
    
    counts = df.category.value_counts()
    dist = stats.rv_discrete(values=(counts.index, counts/counts.sum()))
    fill_values = dist.rvs(size=df.shape[0] - df.category.count())
    df.loc[df.category.isnull(), "category"] = fill_values
    

    编辑:对于一般数据(不限于整数),您可以这样做:

    dist = stats.rv_discrete(values=(np.arange(counts.shape[0]), 
                                     counts/counts.sum()))
    fill_idxs = dist.rvs(size=df.shape[0] - df.category.count())
    df.loc[df.category.isnull(), "category"] = counts.iloc[fill_idxs].index.values
    

    【讨论】:

    • 这在测试数据上效果很好!但是当我尝试在字符串数据上使用它时,我得到了错误。 “无法将字符串转换为浮点数:b”我的错是没有使用示例中的字符串数据。有没有办法让它额外或替代地处理字符串?谢谢!
    • @DavidFeldman,很高兴为您提供帮助。你几乎都想通了。
    猜你喜欢
    • 2020-11-29
    • 1970-01-01
    • 1970-01-01
    • 2020-07-13
    • 1970-01-01
    • 2020-06-23
    • 2022-11-20
    • 2013-12-29
    • 1970-01-01
    相关资源
    最近更新 更多