【发布时间】:2016-04-07 21:44:02
【问题描述】:
我不知道如何在神经网络反向传播中更新权重。我训练了 18 个元组数据。什么时候更新权重?计算完所有元组还是计算一个元组? 请帮我。提前致谢。
【问题讨论】:
-
这与 C# 有什么关系?
-
我用 c# 开发神经网络。
标签: c# neural-network mathematical-optimization gradient-descent
我不知道如何在神经网络反向传播中更新权重。我训练了 18 个元组数据。什么时候更新权重?计算完所有元组还是计算一个元组? 请帮我。提前致谢。
【问题讨论】:
标签: c# neural-network mathematical-optimization gradient-descent
这取决于。有两种方法可以在具有可微[经验]成本和内部函数的数学模型(包括神经网络)中学习权重。这两种方法都依赖于计算成本函数相对于权重的梯度。第一种方法称为 full batch,第二种方法称为 mini-batch 或 随机梯度下降 (SGD)。但是,对于这两种方法,可以仅对一个权重进行成本函数单个示例(在您的情况下为元组)的导数并更新该权重,但不建议这样做,因为权重更新过程可以并行完成。所以我的建议是使用 SGD 并同时更新权重。
来源
【讨论】: