我在和Keras玩了一点,我在想线性激活层和根本没有激活层之间的区别是什么?它不具有相同的行为吗?如果是这样,那么线性激活的意义何在?
我的意思是这两个代码段之间的区别:
model.add(Dense(1500))
model.add(Activation('linear'))
model.add(Dense(1500))
和
model.add(Dense(1500))
model.add(Dense(1500))
您是正确的,您的代码片段之间没有区别:两者都使用线性激活。
激活函数确定它是否是非线性的(例如,S型是非线性激活函数:]
model.add(Dense(1500))
model.add(Dense(1500, activation='sigmoid'))
7 Common Nonlinear Activation Functions and How to Choose an Activation Function
如果您不在密集层中分配,则为线性激活。这是来自keras documentation。
激活:要使用的激活功能(请参阅激活)。如果您未指定任何内容,则不应用任何激活(即“线性”激活:a(x)= x)
[如果您想使用除Activation
以外的其他用途,则只能添加'linear'
。
model.add(Dense(1500))
model.add(Activation('relu'))
model.add(Dense(1500))