具有线性激活的层和完全没有激活的层之间有什么区别?

问题描述 投票:1回答:2

我在和Keras玩了一点,我在想线性激活层和根本没有激活层之间的区别是什么?它不具有相同的行为吗?如果是这样,那么线性激活的意义何在?

我的意思是这两个代码段之间的区别:

 model.add(Dense(1500))
 model.add(Activation('linear'))
 model.add(Dense(1500))

 model.add(Dense(1500))
 model.add(Dense(1500))
keras neural-network keras-layer activation-function
2个回答
1
投票

您是正确的,您的代码片段之间没有区别:两者都使用线性激活。

激活函数确定它是否是非线性的(例如,S型是非线性激活函数:]

model.add(Dense(1500))
model.add(Dense(1500, activation='sigmoid'))

7 Common Nonlinear Activation Functions and How to Choose an Activation Function


1
投票

如果您不在密集层中分配,则为线性激活。这是来自keras documentation

激活:要使用的激活功能(请参阅激活)。如果您未指定任何内容,则不应用任何激活(即“线性”激活:a(x)= x)

[如果您想使用除Activation以外的其他用途,则只能添加'linear'

model.add(Dense(1500))
model.add(Activation('relu'))
model.add(Dense(1500))
© www.soinside.com 2019 - 2024. All rights reserved.