能量函数和损失函数有什么区别？ [关闭]答案

【问题标题】：What is the difference between energy function and loss function? [closed]能量函数和损失函数有什么区别？ [关闭]
【发布时间】：2018-10-24 20:01:30
【问题描述】：

在论文A Tutorial on Energy Based Learning我看到了两个定义：

能量函数E(X, Y)通过推理过程最小化：目标是找到Y的值，使得E(X, Y)取最小值。
损失函数是使用训练集衡量能量函数质量的指标。

我理解损失函数的含义（很好的例子是均方误差）。但是你能解释一下能量函数和损失函数有什么区别吗？你能给我举个 ML 或 DL 中能量函数的例子吗？

【问题讨论】：

标签： machine-learning deep-learning artificial-intelligence terminology difference

【解决方案1】：

简而言之，能量函数描述了您的问题。相比之下，损失函数只是 ML 算法用作输入的东西。这可能是相同的功能，但不一定如此。

物理学中系统的能量可能是该系统内部的运动。在 ML 上下文中，您可能希望通过调整参数来最小化移动。那么实现这一点的一种方法是使用能量函数作为损失函数，并直接最小化这个函数。在其他情况下，此函数可能不容易评估或区分，然后其他函数可能会用作您的 ML 算法的损失。与分类类似，您关心分类器的准确性，但您仍然在 softmax 上使用交叉熵作为损失函数而不是准确性。

【讨论】：

损失函数是机器学习算法的输入吗？ “在 ML 上下文中，您可能希望最小化移动”，移动什么？
上下文是一个物理系统，粒子在其中漂浮，您希望最小化这些粒子的参数，以使该系统中的能量最小化，因此是 ML 上下文。正如我解释并且作者接受的那样，损失函数在您的 ML 系统中用于训练您的模型。这不一定是您实际尝试做的事情，而是具有良好优化属性的代理，例如凸、可微、平滑等。有时能量函数也可以是一个很好的损失函数，但不一定如此。