来自 Pandas 的分层样本

Question

我有一个 pandas DataFrame，大致如下：

cli_id | X1 | X2 | X3 | ... | Xn |  Y  |
----------------------------------------
123    | 1  | A  | XX | ... | 4  | 0.1 |
456    | 2  | B  | XY | ... | 5  | 0.2 |
789    | 1  | B  | XY | ... | 5  | 0.3 |
101    | 2  | A  | XX | ... | 4  | 0.1 |
...

我有客户 ID、少数分类属性和 Y，它是事件的概率，其值从 0 到 1 乘以 0.1。

我需要在大小为 200 的 Y 的每一组（所以 10 倍）中抽取一个分层样本

我经常在拆分成训练/测试时使用它来获取分层样本：

def stratifiedSplit(X,y,size):
    sss = StratifiedShuffleSplit(y, n_iter=1, test_size=size, random_state=0)

    for train_index, test_index in sss:
        X_train, X_test = X.iloc[train_index], X.iloc[test_index]
        y_train, y_test = y.iloc[train_index], y.iloc[test_index]

    return X_train, X_test, y_train, y_test

但我不知道在这种情况下如何修改它。

Answer 1

如果每个组的样本数量相同，或者每个组的比例恒定，您可以尝试类似

df.groupby('Y').apply(lambda x: x.sample(n=200))

或

df.groupby('Y').apply(lambda x: x.sample(frac=.1))

要针对多个变量执行分层抽样，只需针对更多变量进行分组。为此可能需要构造新的分箱变量。

但是，如果组大小太小 w.r.t.像groupsize 1和proportion .25这样的比例，则不返回任何物品。这是由于pythons对int函数int(0.25)=0的舍入实现@

Answer 2

我不完全确定你是不是这个意思：

strats = []
for k in range(11):
    y_val = k*0.1
    dummy_df = your_df[your_df['Y'] == y_val]
    stats.append( dummy_df.sample(200) )

这会生成一个仅包含您想要的 Y 值的虚拟数据帧，然后抽取 200 个样本。

好的，因此您需要不同的块具有相同的结构。我想这有点难，我会这样做：

首先，我会得到X1 的直方图：

hist, edges = np.histogram(your_df['X1'], bins=np.linespace(min_x, max_x, nbins))

我们现在有一个带有nbins bins 的直方图。

现在的策略是根据X1 的值绘制一定数量的行。我们会从观测值多的bin中抽取更多，从观测较少的bin中抽取更多，这样X的结构就被保留了。

具体来说，每个 bin 的相对贡献应该是：

rel = [float(i) / sum(hist) for i in hist]

这将类似于[0.1, 0.2, 0.1, 0.3, 0.3]

如果我们想要 200 个样本，我们需要绘制：

draws_in_bin = [int(i*200) for i in rel]

现在我们知道要从每个 bin 中提取多少观察值：

strats = []
for k in range(11):
        y_val = k*0.1

        #get a dataframe for every value of Y
        dummy_df = your_df[your_df['Y'] == y_val]

        bin_strat = []
        for left_edge, right_edge, n_draws in zip(edges[:-1], edges[1:], draws_in_bin):

             bin_df = dummy_df[ (dummy_df['X1']> left_edge) 
                              & (dummy_df['X1']< right_edge) ]

             bin_strat.append(bin_df.sample(n_draws))
             # this takes the right number of draws out 
             # of the X1 bin where we currently are
             # Note that every element of bin_strat is a dataframe
             # with a number of entries that corresponds to the 
             # structure of draws_in_bin
        #
        #concatenate the dataframes for every bin and append to the list
        strats.append( pd.concat(bin_strat) )