是否可以将每个输入连接到隐藏的偏差？

Question

我可以将每个输入元素（包括输入偏差）连接到隐藏层的每个元素（包括隐藏偏差）吗？

Answer 1

通常每个隐藏神经元都有自己的权重、偏差和激活。例如，在具有 4 个输入、隐藏层中有 4 个神经元的标准 1 隐藏层神经网络中，隐藏神经元的输出计算如下：

h1 = act1(w11*x1 + w21*x2 + w31*x3 + b1)
h2 = act2(w12*x1 + w22*x2 + w32*x3 + b2)
h3 = act3(w13*x1 + w23*x2 + w33*x3 + b3)

此标准架构与您的架构之间的区别在于，在您的图片中，每个隐藏神经元的输入偏差

bx

都是相同的，因此：

h1 = act1(w11*x1 + w21*x2 + w31*x3 + bx)
h2 = act2(w12*x1 + w22*x2 + w32*x3 + bx)
h3 = act3(w13*x1 + w23*x2 + w33*x3 + bx)

在这种架构中，每个输入元素，包括输入偏差（因此全部

x1, x2, x3, bx

），都连接到隐藏层的每个元素（

h1, h2, h3

），排除隐藏偏差

bh

。隐藏偏差

bh

将用于下一层，但不依赖于任何输入，否则它就不是偏差，它将是另一个隐藏神经元。

因此，不，您不能将任何输入连接到隐藏偏差，但您可以将每个输入（包括输入偏差）连接到每个隐藏神经元。