具有线性激活的层和没有激活的层有什么区别？答案

【问题标题】：What is the difference between a layer with a linear activation and a layer without activation?具有线性激活的层和没有激活的层有什么区别？
【发布时间】：2019-05-03 07:21:20
【问题描述】：

我在玩一点 Keras，我在想线性激活层和根本没有激活层有什么区别？它没有相同的行为吗？如果是这样，那么线性激活的意义何在？

我的意思是这两个代码sn-ps的区别：

 model.add(Dense(1500))
 model.add(Activation('linear'))
 model.add(Dense(1500))

和

 model.add(Dense(1500))
 model.add(Dense(1500))

【问题讨论】：

标签： keras neural-network keras-layer activation-function

【解决方案1】：

如果您不在密集层中分配，则为线性激活。这是来自 keras documentation。

activation：要使用的激活函数（参见激活）。如果您不指定任何内容，则不会应用任何激活（即“线性”激活：a(x) = x)

如果你想使用'linear'以外的地方，你只能添加Activation。

model.add(Dense(1500))
model.add(Activation('relu'))
model.add(Dense(1500))

【讨论】：

【解决方案2】：

你是对的，你的 sn-ps 没有区别：两者都使用线性激活。

激活函数判断它是否是非线性的（例如sigmoid是非线性激活函数）：

model.add(Dense(1500))
model.add(Dense(1500, activation='sigmoid'))

7 Common Nonlinear Activation Functions and How to Choose an Activation Function

【讨论】：