relu函数是否存在梯度消失问题以及relu函数的死亡节点问题
存在，在小于的时候，激活函数梯度为零，梯度消失，神经元不更新，变成了死亡节点。
出现这个原因可能是因为学习率太大，导致w更新巨大，使得输入数据在经过这个神经元的时候，输出值小于0，从而经过激活函数的时候为0，从此不再更新。所以relu为激活函数，学习率不能太大
相关文章：
相似解决方案
热门标签
relu函数是否存在梯度消失问题以及relu函数的死亡节点问题
存在，在小于的时候，激活函数梯度为零，梯度消失，神经元不更新，变成了死亡节点。
出现这个原因可能是因为学习率太大，导致w更新巨大，使得输入数据在经过这个神经元的时候，输出值小于0，从而经过激活函数的时候为0，从此不再更新。所以relu为激活函数，学习率不能太大
相关文章：