对于具有随机权重的输入，我的预测效率会改变吗？ 另外我还没有考虑我的网络中的偏差，这是否可能是效率较低的原因（我对 200 个示例的训练数据的预测率为 93%，对于由 100 个示例组成的测试数据的预测率为 90%。我采用了学习率为 0.01，误差阈值为 0.005。我采用了反向传播算法）
【问题讨论】：
标签： matlab neural-network
如果您使用的是神经网络，那么您的预测效率（我宁愿称之为准确性）通常会降低。
我会以这种方式解释它。
神经网络训练其权重和偏差以获得给定输入集（训练数据）的所需输出。神经网络使用反向传播算法来获得一组在给定一定数量的迭代（epochs）的情况下对于网络“最”最优的权重。
当您在测试数据集上测试网络的预测准确性时，您更喜欢经过训练的权重和偏差（通过在训练数据集上训练神经网络获得），因为它们已经过训练以生成所需的结果（输出)。如果您在随机权重和偏差上测试网络的预测准确度，您的预测准确度通常较低，并且可能在较大范围内变化。
您可能会惊讶地发现，您在具有随机权重的测试数据集上的预测准确度高于在训练数据集上训练的权重和偏差所预测的准确度。尽管这种情况很少见，但它可能会发生，在这种情况下，随机权重接近网络的最佳权重。
总而言之，最好在经过训练的权重和偏差而不是随机权重上测试您的网络。否则，机器学习算法的目的是什么。
【讨论】：
如前所述：具有随机权重的网络是未经训练的网络。如果它在随机权重方面具有良好的准确性，那只是偶然。
如果您将中性网络，尤其是反向传播视为函数的优化过程
f(x) = mx + b
目标是为所有训练集找到最佳匹配线。
初始步骤是为 m 和 b 选择一个随机值。通过随机初始化的疯狂猜测，这条线接近最优匹配的概率非常小。
反向传播的目标是通过将当前设置的误差传播回网络来确定 m 和 b 的最佳设置，并对其进行调整，直到找到可接受的设置。调整是通过梯度下降来完成的，梯度下降用于找到由所有训练样本的输出与目标值之间的差异所产生的误差面的最小值。
如果这不是您的问题的意思，并且您询问初始随机权重对训练结果的影响：
这取决于您要优化的功能。如果误差表面是非凸的（大多数情况下都是如此），则初始值定义了梯度下降的起点，因此会影响训练结果。
将误差表面想象成具有多个山谷的山地景观。梯度下降的目标是到达这些山谷之一，在最好的情况下，到达最深的一个，即全局最小值。由于梯度下降通常倾向于陷入第一次找到的最小值（取决于学习率和动量），所以答案是否定的。找到的最小值取决于起始位置。因此，您通常会在不同的初始权重下获得不同的准确度。
我最近做了一些权重随机化的实验。我的结果是，如果随机生成数的方差太大，网络永远不会收敛到正确的解决方案。
【讨论】：