如果计算相对拒绝频率，如何衡量与显着性水平是否显着不同？ （R中的正态性检验）

Question

专业人士和学生，

我的显着性水平为 10%、5% 和 1%，并且由于对我上一个问题的回答，我计算了相对拒绝频率。

replicate_sw10 = replicate(1000,shapiro.test(rnorm(10)))
table(replicate_sw10["p.value",]<0.10)/1000

> FALSE  TRUE 
> 0.909 0.091

但是，如果我对各种样本大小 (T=10,30,50,100,500) 执行此操作并通过 excel 手动存储它。也许有一种更简单的方法可以在函数/列表中计算它。

但是，如果它与显着性水平显着不同，我该如何衡量？ （提示如下：拒绝测试可以建模为伯努利随机变量）

最好的问候

Answer 1

因此，最简单的方法是......所以如果您执行 1000 次测试，您会期望大约 0.1 次测试的 pvalue

set.seed(100)
replicate_sw10 = replicate(1000,shapiro.test(rnorm(10)))
obs_significant = sum(replicate_sw10["p.value",]<0.1)

binom.test(obs_significant,n=1000,p=0.1)

    Exact binomial test

data:  obs_significant and 1000
number of successes = 118, number of trials = 1000, p-value = 0.06479
alternative hypothesis: true probability of success is not equal to 0.1
95 percent confidence interval:
 0.09865252 0.13962772
sample estimates:
probability of success 
                 0.118