对 tf.keras.layers.Dense() 中的“线性”激活感到困惑

Question

在explanation on activation under Arguments，它说

“线性”激活：a(x) = x.

这令人困惑。线性激活不应该像wx+b（如果use_bias=True）吗？

Answer 1

不，Dense 层本身计算 y = a(wx + b)，activation 参数所做的是更改此计算中的函数 a 以获得不同的非线性行为，但如果您需要线性行为，“取消”a 的唯一方法是使用线性函数a(x) = x，因此无需修改预激活值（wx + b）。