求平方根 method1 二分法 method2 牛顿迭代法(根据泰勒一阶展开推导)xn+1=xn−f′(xn)f(xn)x_{n+1}=x_n-\frac{f'(x_n)}{f(x_n)}xn+1=xn−f(xn)f′(xn) 其中f(xn)=x2−nf(x_n)=x^2-nf(xn)=x2−n 2.3. 各种范数的比较 L0范数:非零元素个数 L1范数:绝对值,抗干扰能力更强。L1正则项不可微 L2范数:绝对值的平方,L2正则项可微 区别: L1正则化偏向于使一些权重变为零,产生稀疏的特征矩阵,有利于直观上的特征选择 L2正则化偏向与使所有权重尽量小。 L1正则化系数越大,最优点越靠近零点 L2正则化系数越大,W权值衰减越大 相关文章: