L0,L1,L2范数

L0范数是指向量中非0的元素的个数。

L1范数是指向量中各个元素绝对值之和，也叫“稀疏规则算子”。

L1范数和L0范数可以实现稀疏，L1因具有比L0更好的优化求解特性而被广泛应用。

L2范数是指向量各元素的平方和然后求平方根，在回归里面，有人把有它的回归叫“岭回归”（Ridge Regression），有人也叫它“权值衰减weight decay”。它的强大功效是改善机器学习里面一个非常重要的问题：过拟合。