基于L2,1范数的特征选择方法

本文来自于论文Feiping Nie, Heng Huang, Xiao Cai, Chris H. Q. Ding. Efficient and Robust Feature Selection via Joint L2,1-Norms Minimization,NIPS,pp.1813-1821, 2010的阅读心得总结

该论文提出了一种基于损失函数和正则项的L2,1$L_{2,1}$范数来实现一种高效、鲁棒的特征选择方法，并提供了算法分析和收敛性分析。
首先对比了L1$L_1$和L2$L_2$范数的特点：

• L1$L_1$和L2$L_2$范数表现出一种结构化的正则化技术，但是主要用于二分类；而L2,1范数则是用于多分类
• L2$L_2$范数对野点非常敏感，基于L2,1$L_{2,1}$范数的损失函数能够去除野点
• L2$L_2$ 范数倾向于ω 的分量取值尽量均衡，即非零分量个数尽量稠密，而L0$L_0$ 范数和L1$L_1$范数，则倾向于ω 的分量尽量稀疏，即非苓分量个数尽量少

论文的创新点在于：

• 受到L2,1$L_{2,1}$范数的启发，将L2,1$L_{2,1}$范数推广到一般情况，即Lr,p$L_{r,p}$范数，同时证明了该范数满足范数的三个条件。
  相关的讨论为：
  
• 将损失函数的优化问题写成一种矩阵的形式，对利用Lagrange对该问题进行了优化，提出了一种比较有效、快速的算法。

首先是，将损失函数的L2$L_2$范数全部转化为L2,1$L_{2,1}$范数，即可以同步优化，为后面的优化过程提供了条件。

在该最小化目标函数的优化中，等价转化优化问题：

更进一步：

写成矩阵形式：

记：
即为

利用Lagrange方法，转化为：

求导（相关求导公式可以查看另外一篇博客） 矩阵L2,1范数及矩阵L2,p范数的求导：

其中

是对角阵，即有：

结合上式即有

此时U即为全局最优解，由于D矩阵中包含有U，因此需要迭代求解。算法步骤为：

关于迭代求解的收敛性证明（证明过程看论文），主要运用了引理：

同时，将该优化问题推广到更一般的情况（D仍为对角阵，f(U)是凸函数）：

迭代式：

该算法对基因组和蛋白质组生物标志物进行了实验，取得了高效、高准确度的效果。