α-LMS算法挫折问题

Question

我正在使用 α-LMS 算法为 MNIST 数据集制作分类器。

我只在预测输出与期望输出不匹配时更新权重，以下是更新权重的方式：

我希望残差在每次迭代中都会下降（并且准确度会上升）（我不应该吗？）。

虽然整体准确度似乎在上升，但在某些迭代中算法会回落。

我需要知道在这个算法中发生挫折是否正常，是否是为什么会这样？

Answer 1

如果数据可以用公式表示，那么找到该公式是可行的。 当需要算法时（没有公式），收敛速度和准确性很大程度上取决于数据。如果您能够使用多个数据集，您会看到不同的图表。