【发布时间】：2020-01-15 06:13:55
【问题描述】：
谁能给我一个可以理解的解释SKlearn的Ridge Regression中的参数Alpha？它如何影响功能等？
例子会很有帮助:)
【问题讨论】：
-
我投票决定将此问题作为离题结束，因为它与编程无关。 How to Ask
-
@Dan 你的问题不是关于编程的。
标签： python scikit-learn regression
【发布时间】：2020-01-15 06:13:55
【问题描述】：
岭回归最小化目标函数：
||y - Xw||^2_2 + alpha * ||w||^2_2
这个模型解决了一个回归模型，其中损失函数是线性最小二乘函数，正则化由 l2 范数给出。简单来说，alpha 是岭回归尝试防止过拟合的参数！
假设你有三个参数W = [w1, w2, w3]。在过拟合的情况下，损失函数可以用W=[0.95, 0.001, 0.0004]拟合模型，这意味着它高度偏向第一个参数。但是，alpha * ||w||^2_2 在这些情况下会增加损失函数，并尝试将所有参数保持在某种边界内以防止过度拟合。例如，使用正则化器时，W 可以是 W=[0.5, 0.2, 0.33]。当您增加 alpha 时，您正在推动 Ridge 回归对过度拟合更加稳健，但可能会获得更大的训练误差。
【讨论】：
-
但是它在数学上是如何影响函数的呢？我不太了解你的函数对象。
-
@Dan That
||w||^2_2在本例中对每个[w1,w2,...]求和 2 的幂，并将其添加到损失函数中。优化器试图最小化损失函数。 2 的幂使得大参数增加了总损失函数的大损失。 -
@Dan 例如
||w||^2_2，第一个例子是sqrt(0.95*0.95 + 0.001*0.001 + 0.0004*0.0004)，第二个等于sqrt(0.5*0.5 + 0.2*0.2 + 0.33*0.33)