在chainer中，如何使用chainer.GradientMethod以及如何自定义定义参数更新规则答案

【问题标题】：in chainer, how to use chainer.GradientMethod and how to customize define parameter update rule在chainer中，如何使用chainer.GradientMethod以及如何自定义定义参数更新规则
【发布时间】：2017-08-25 07:43:04
【问题描述】：

我在https://docs.chainer.org/en/stable/reference/core/generated/chainer.GradientMethod.html?highlight=gradient找到了一个类，它有一个叫create_update_rule()的函数，我需要定义一个向后渐变的函数，假设我想写以下代码：

W[i] -= gradient[i] * learning_rate;

W 是我的函数/层的参数，但我不知道chainer 默认优化器如何更新参数？是+= 还是-=？

【问题讨论】：

标签： chainer

【解决方案1】：

每个优化器，例如SGD 优化器，都是GradientMethod 的子类。每个优化器都有自己的UpdateRule。

见SGD's update rule计算

W[i] -= gradient[i] * learning_rate

【讨论】：