连接具有不同激活的密集层

Question

在连接两个完全连接的层的输出的同时，如果两个密集层中的激活是不同的，那么它真的有意义吗？

inp1 = Input((10,))
inp2 = Input((8,))
out1 = Dense(32, activation='tanh')(inp1)
out2 = Dense(32, activation='sigmoid')(inp2)
combined = concatenate(out1, out2)

Answer 1

它可以有意义。在您的情况下，似乎您在一个模型中有两个不同的网络，因为不同的输入导致不同的输出并且不共享层。在其他情况下，您可以将两个密集层的输出连接起来，例如线性和softmax激活函数，这将分别导致回归和分类输出。