多种测试方法答案

【问题标题】：Multiple testing methods多种测试方法
【发布时间】：2013-02-17 23:32:08
【问题描述】：

我想在Anova上模拟Bonferroni、Fisher's LSD、DUncan、Dunn-Sidak Newman-Keuls、Tukey等不同类型的多重测试校正的效果。

我想我应该简单地运行一个常规的Anova。然后接受我使用p.adjust 计算的重要p.values。但我不明白这个p.adjust 函数是如何工作的。能给我一些关于p.adjust()的见解吗？

运行时：

> p.adjust(c(0.05,0.05,0.1),"bonferroni")
# [1] 0.15 0.15 0.30

有人能解释一下这是什么意思吗？

感谢您的回答。我对这一切都略知一二。但是我还是不明白 p.adjust 的输出。我希望...

P.adjust(0.08,'bonferroni',n=10)

... 将返回 0.008 而不是 0.8。 n=10 并不意味着我要进行 10 次比较。并且不是 0.08 的“原始 alpha”（我的意思是如果我有一个简单的比较，我会用来拒绝 NULL 假设的阈值）

【问题讨论】：

【解决方案1】：

您必须阅读每种多重测试校正技术，无论是False Discovery Rate (FDR) 还是Family-Wise Error Rate (FWER）。（感谢@thelatemail 指出扩展缩写）。

Bonferroni 校正通过将显着性水平 alpha 设置为 alpha/n 来控制 FWER，其中 n 是在典型多重比较中测试的假设数（此处为 n=3）。

假设您正在以 5% 的 alpha 进行测试。这意味着如果您的 p 值 n=3，然后，对于 Bonferroni 校正，您可以将 alpha 除以 3 = 0.05/3 ~ 0.0167，然后检查您的 p 值是否

同样（这很明显），您可以将n 带到另一边pval * n < alpha，而不是检查pval < alpha/n。这样alpha 保持相同的值。因此，您的 p 值乘以 3，然后检查它们是否为

因此，您获得的输出是FWER controlled p-value，如果这是

对于每个测试，有不同的程序来控制由于多次测试而导致的误报。维基百科可能是了解其他测试如何纠正误报的良好起点。

但是，p.adjust 的输出通常给出multiple-testing corrected p-value。在 Bonferroni 的情况下，它是 FWER 控制的 p 值。在 BH 方法的情况下，它是 FDR 校正的 p 值（或也称为 q 值）。

希望这会有所帮助。

【讨论】：