maxout对参数量的影响

相当于在输出前面又加了一层,该层有K个神经元,最后只输出这些神经元中最高的值

z1=w1*x+b1

z2=w2*x+b2

z3=w3*x+b3

z4=w4*x+b4

z5=w5*x+b5

out=max(z1,z2,z3,z4,z5)

缺点会直接导致参数量变为k倍,现在已经很少有用的,基本被relu替代

相关文章: