连接具有不同激活的密集层答案

【问题标题】：concatenating dense layers with different activations连接具有不同激活的密集层
【发布时间】：2019-09-05 11:51:56
【问题描述】：

在连接两个全连接层的输出时，如果两个密集层中的激活不同真的有意义吗？

inp1 = Input((10,))
inp2 = Input((8,))
out1 = Dense(32, activation='tanh')(inp1)
out2 = Dense(32, activation='sigmoid')(inp2)
combined = concatenate(out1, out2)

【问题讨论】：

如果尺寸合适，数据将继续增长...在 tanh 与 sigmoid 的情况下，按照您的连接与 max/avg 池从两者中获得最佳效果...例如！

标签： keras concatenation layer activation

【解决方案1】：

这很有意义。在您的情况下，似乎您在一个模型中有两个不同的网络，因为不同的输入导致不同的输出并且不共享层。在其他情况下，您可以将两个密集层的输出与线性和 softmax 激活函数连接起来，这将分别导致回归和分类输出。

【讨论】：