ReLU(Rectified Linear Unit, ReLU)整流线性函数,又称修正线性单元,是一种人工神经网络中常用的非线性**函数。
如何理解Relu的非线性
Relu是分段线性函数,为何就能表征非线性特征呢,该如何直观地去理解它的非线性呢?

可以参考知乎上摩尔的回答:https://www.zhihu.com/question/266696998/answer/915801674
如何理解Relu的非线性
如何理解Relu的非线性

由此可见,多个(线性操作+Relu)组合可以任意地划分空间。

如何理解Relu的非线性

相关文章: