Bootstrap t 方法 Python 实现

Question

我有这个函数来执行t-test，样本和总体在字典中使用相同的键。效果很好，符合预期。

def ttest_(d):
    result = {}
    for k, (l, t) in d.items():
        mean_sample = np.mean(t) 
        mean_population = np.mean(l)
        sd_sample = np.std(t, ddof=1)
        sd_population = np.std(l, ddof=1)
        sample_size = len(t)
        population_size = len(l)
        result[k] = round(((mean_sample - mean_population) /
                                np.sqrt(((sd_sample/np.sqrt(sample_size))**2) +
                                         ((sd_population/np.sqrt(population_size))**2))), 2)

如何修改此函数以便：

--> 与其进行一次最终计算，不如在引导程序中按照以下方式进行 x 次：

for _ in range(1000)

--> 上一步将创建每个键的 T 检验分布，然后结果 [k] 将是第 n 个百分位值...。您可以使用参数指定，并给出一个值说0.05.

编辑#1： 为了清楚起见，我使用该函数的方式如下：

pairs = {}
for (k, v), (k2, v2) in product(population.items(), samples.items()):
    if k == k2:
        pairs.update({k: (v, v2)})

然后在这个字典上应用公式：

ttest_ = ttest_(pairs)

编辑#2： 保留这种在字典字典上应用函数的结构很重要，以便在不同样本和键之间建立关联，并获得相关的结果[k]。唯一的区别是添加了引导程序和百分位选择。

编辑#3： 感谢诺曼的问题。为了澄清这一点，在新公式中，您将相同的样本 [k] 与从总体 [k] 中抽取的随机子样本进行 x 次比较，这就是您获得分布的方式。这些子样本具有原始样本[k]的大小。

Answer 1

如果我理解正确的话，应该这样做。

from itertools import product
import numpy as np


# Generate fake data.
keys = np.arange(100, 130)
populations = {}
samples = {}
for k in keys:
    loc = np.random.uniform(-9.0, +9.0)
    scale = np.random.uniform(0.4, 4.0)
    n = np.random.randint(400, 800)
    m = np.random.randint(20, 100)
    populations[k] = np.random.normal(loc, scale, n)
    samples[k] = np.random.choice(populations[k], m, replace=False)
    print('data: key={} pop={} samp={}'.format(k, len(populations[k]), len(samples[k])))


def ttest_(d, p, n=1000):
    result = {}
    percentiles = (np.arange(n) + 0.5) / n
    for k, (pop, sample) in d.items():
        size_sample = len(sample)
        mean_sample = np.mean(sample)
        sd_sample = np.std(sample, ddof=1)

        # Generate a distribution of t values.
        tvalues = np.zeros(n)
        for i in range(n):
            sample2 = np.random.choice(pop, size=size_sample, replace=True)
            size_sample2 = len(sample2)
            mean_sample2 = np.mean(sample2)
            sd_sample2 = np.std(sample2, ddof=1)
            # Welch's t-test for sample and sample2.
            tvalues[i] = (mean_sample - mean_sample2) /  \
                         np.sqrt((sd_sample / np.sqrt(size_sample))**2 +
                                 (sd_sample2 / np.sqrt(size_sample2))**2)
        # Interpolate the quantile function at p.
        tvalues.sort()
        result[k] = round(np.interp(p, percentiles, tvalues), 2)
    return result


pairs = {}
for (k, v), (k2, v2) in product(populations.items(), samples.items()):
    if k == k2:
        pairs[k] = (v, v2)

result = ttest_(pairs, p=0.5)
for k, v in result.items():
    print('result: key={} t={}'.format(k, v))