【问题标题】:What is the correct approach to update weights vectors in neural network?在神经网络中更新权重向量的正确方法是什么?
【发布时间】:2016-04-07 21:44:02
【问题描述】:

我不知道如何在神经网络反向传播中更新权重。我训练了 18 个元组数据。什么时候更新权重?计算完所有元组还是计算一个元组? 请帮我。提前致谢。

【问题讨论】:

  • 这与 C# 有什么关系?
  • 我用 c# 开发神经网络。

标签: c# neural-network mathematical-optimization gradient-descent


【解决方案1】:

这取决于。有两种方法可以在具有可微[经验]成本和内部函数的数学模型(包括神经网络)中学习权重。这两种方法都依赖于计算成本函数相对于权重的梯度。第一种方法称为 full batch,第二种方法称为 mini-batch 或 随机梯度下降 (SGD)。但是,对于这两种方法,可以仅对一个权重进行成本函数单个示例(在您的情况下为元组)的导数并更新该权重,但不建议这样做,因为权重更新过程可以并行完成。所以我的建议是使用 SGD 并同时更新权重。

来源

【讨论】:

    猜你喜欢
    • 2021-09-23
    • 2015-05-03
    • 1970-01-01
    • 2018-05-11
    • 1970-01-01
    • 2012-08-13
    • 2021-08-06
    • 1970-01-01
    • 2013-01-22
    相关资源
    最近更新 更多