机器学习中的损失函数图从何而来？

Question

机器学习中的损失函数图从何而来？ 我正在研究机器学习。我有时不理解使用正则化术语优化的模型。 在正则化的解释中，可能会出现下图。 这是 L1 正则化项的示例。我假设模型有两个权重参数 w1、w2。即模型y的方程由下式表示。

y = w1x1 + w2x2

为简单起见，我忽略了偏差项。

红色方块代表正则化项。蓝色椭圆表示没有正则化项的损失函数。 正则化项由下式给出

| w1 | ^ q + | w2 | ^ q = r ^ q (r is const.)

因此，w1>0和w2>0处的图方程表示如下。

w2 = (r ^ q-| w1 | ^ q) ^ (1 / q)

通过用 w1 代替这个方程（在 Lasso 中 q = 0），您可以绘制正则化项的图形。

另一方面，我无法绘制损失函数图。也许您需要不止一个数据来绘制此图。为简单起见，我假设我只有两条数据。我将它们定义为 (x11, x12, t1), (x21, x22, t2)。当损失函数为MSE时，用下式表示。

Ed = 1/2 * {(t1-w1x11-w2x12) + (t1-w1x21-w2x22)}

如果我简化它，它表示为

Ed = a*w1^2 + b*w1 + c*w2^2 + d*w2 + e*w1*w2 + f

这里的a、b、c、d、e、f是由x11、x12、x21、x22的全部或部分表示的函数。在找到 a、b、c、d、e 和 f 之后，我想如果我们用 w1 代替这个方程，我们可以画出损失函数的图。但是，我画不好。 上述理解正确吗？谢谢。

Answer 1

为了可视化损失函数 Ed，它是 w1 和 w2 的函数，我们应该将其可视化为 3 维图。例如，您可以使用Geogebra 可视化 3 维曲面图。

这是一个示例，其中 a=3, b=-1, c=1, d =-1 , e=2。

您看到的二维图称为计数图。这个link 可以让你在线绘制它。

要手动绘制等高线图，你固定 Ed 的值，然后你得到一个二次方程，之后，随着你改变 w1，你可以求解你的 w2，对于每个 w1，你最多可以获得 2 个 w2因为它是二次的。

备注：如果您正在寻找任意 q 的封闭形式表达式，那可能更具挑战性。