【发布时间】：2018-06-28 23:24:39
【问题描述】：
batchnorm momentum convention (default=0.1) 是否与其他库一样正确，例如Tensorflow默认情况下似乎通常是0.9或0.99？或者我们只是使用了不同的约定？
【问题讨论】：
标签： python neural-network deep-learning pytorch batch-normalization
【发布时间】：2018-06-28 23:24:39
【问题描述】：
看来pytorch中的参数化约定与tensorflow中的不同，所以pytorch中的0.1相当于tensorflow中的0.9。
更准确地说：
在张量流中：
running_mean = decay*running_mean + (1-decay)*new_value
在 PyTorch 中：
running_mean = (1-decay)*running_mean + decay*new_value
这意味着 PyTorch 中的 decay 值等同于 Tensorflow 中的 (1-decay) 值。
【讨论】：