weight_decay in Pytorch

在训练人脸属性网络时，发现在优化器里增加weight_decay=1e-4反而使准确率下降

pytorch论坛里说是因为pytorch对BN层的系数也进行了weight_decay，导致BN层的系数趋近于0，使得BN的结果毫无意义甚至错误

当然也有办法不对BN层进行weight_decay，

详见pytorch forums讨论1
pytorch forums讨论2

相关文章：

2021-04-02
2021-04-23
2021-04-17
2021-07-08
2021-07-26
2021-05-26
2021-05-18
2021-11-27

猜你喜欢

2021-06-10
2021-10-10
2022-12-23
2022-12-23
2021-10-14
2022-12-23
2021-04-25

相关资源

下载 2023-02-02
下载 2022-12-10
下载 2021-06-24

相似解决方案

热门标签

Java Python linux javascript Mysql C# Docker 算法前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库数据结构大数据 js 机器学习微服务 Android Go 程序员面试 JVM ASP.net core 云原生人工智能后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习多线程 React 架构 devops 爬虫云计算 Spring Boot LeetCode