用于特征选择的 t-stat答案

【问题标题】：t-stat for feature selection用于特征选择的 t-stat
【发布时间】：2017-03-25 10:00:04
【问题描述】：

我想用 for 循环计算 R 中特征选择的 t-Statistic。数据有 155 列，因变量是二进制的（诱变剂 - 非诱变剂）。我想为每一列分配一个 t-stat。问题是我不知道怎么写。

这是我试图在 R 中实现的公式：

我也写了一个代码，但我不确定它只是第一列。我需要在所有列的 for 循环中编写它。

abs(diff(tapply(train_df[,1], train_df$Activity, mean))) / sqrt(sd((train_df$NEG_01_NEG[train_df$Activity == "mutagen"])^2) / (length(train_df$NEG_01_NEG[train_df$Activity == "mutagen"])) + 
   sd((train_df$NEG_01_NEG[train_df$Activity != "mutagen"])^2) / (length(train_df$NEG_01_NEG[train_df$Activity != "mutagen"])))

提前致谢！

【问题讨论】：

首先，在这里寻求编码方面的帮助是无关紧要的。其次，为什么要使用 $t$-statistic 进行特征选择？我不知道任何目标（例如预测建模、解释建模……）对于这种选择是最佳的。请考虑使用 lasso（及其版本）、岭回归或弹性网络。
@RichardHardy 首先我不知道，抱歉。我只是想在训练模型之前获得先验知识。我不是在寻找最佳选择或类似的东西。刚刚在一篇论文上看到了一个特征选择方法，想试试。仅此而已。顺便说一句，感谢您的回答。
我有一个函数可以做到这一点，但如果你想自己编码，它对你没有多大帮助。如果你想要，请告诉我
@ekstroem 会很棒！

标签： r machine-learning t-test feature-selection

【解决方案1】：

如果您不想担心速度（您可能不关心 155 列），您可以使用 t.test 函数并将其应用于每一列。

先模拟一些数据

set.seed(1)
DF <- data.frame(y=rep(1:2, 50), x1=rnorm(100), x2=rnorm(100), x3=rnorm(100))
head(DF)

  y         x1          x2         x3
1 1 -0.6264538 -0.62036668  0.4094018
2 2  0.1836433  0.04211587  1.6888733
3 1 -0.8356286 -0.91092165  1.5865884
4 2  1.5952808  0.15802877 -0.3309078
5 1  0.3295078 -0.65458464 -2.2852355
6 2 -0.8204684  1.76728727  2.4976616

然后我们可以使用公式参数将t.test 函数应用于除第一列之外的所有列。

group <- DF$y
lapply(DF[,-1], function(x) { t.test(x ~ group)$statistic })

它返回每列的测试统计信息。

t.test 会计算很多您不需要的额外信息，因此您可以通过直接进行计算来大大加快速度，但这里确实没有必要

【讨论】：

这可能是计算数据帧 t-score 的最快和最简单的方法。非常感谢！
如果它适合你，那么请接受答案。我敢肯定这不是最快的，但在大多数数据集上你可能不会注意到