理论 - 如何计算代表 2D 区域的感知器的权重和偏差

Question

这里的问题是绘制一个带有感知器的神经网络（NN），无需反向传播学习，就可以区分下面二维（2d）图中的粉色和绿色区域。这两个区域占据了整个 2d XY 空间。

神经网络的输入是 X 和 Y 值。 神经网络的输出必须是：

• 1 如果点 (X,Y) 位于粉色箭头指示的区域内；
• 0 如果该点位于绿色箭头区域内。

我知道问题的解决方案如下，但我不明白为什么权重W13、W23和偏差b3分别为：1、1和-1.9（以及为什么b3必须大于-2 且小于或等于 -1)。

我想知道它们是否是由直觉决定的，但我不敢相信没有一个更确定的过程来知道如何计算这些值。

如何计算权重（W13、W23）和偏差（b3）的值？

Answer 1

您在最后一张图片中有提示：A∧B，即您的输出感知器实现逻辑与功能。那么，让我们看看这是为什么。

从你的第一张图像中，你有隐藏层感知器“A”和“B”的 2 个决策边界。 “A”线（超平面）显示“A”感知器何时触发（给出逻辑“1”）。对于位于该线右侧的每个 X 和 Y 值组合，输出为 1，否则输出为 0。对于“B”感知器也是如此。因此，您的最终决策边界是这 2 个决策边界的交集，即 A 和 B（合取）。换句话说，X 和 Y 对组合应该位于两条线的右侧（粉色区域），以获得 1 的输出。

现在，您只需要使用感知器实现逻辑与函数即可。为此，您可以编写 f=A&B 的真值表。

A B f
0 0 0
0 1 0
1 0 0
1 1 1

从真值表中，您可以为输出感知器编写以下不等式系统：

0*W13 + 0*W23 + b3 <= 0
0*W13 + 1*W23 + b3 <= 0
1*W13 + 0*W23 + b3 <= 0
1*W13 + 1*W23 + b3 > 0

简化：

b3 <= 0
W23 + b3 <= 0
W13 + b3 <= 0
W13 + W23 + b3 > 0

如你所见，它有无限多个解决方案。

如果我们选择

W13=W23=1

，则

b3>-2 and b3<=-1

或

b∈(-2;-1]

直观地，不是解决不等式系统，而是在识别最后一层函数（逻辑与（或隐藏层感知器的交集））之后，您可以按照以下逻辑在头脑中选择值。我们希望感知器的输出仅在“A”和“B”为 1 时才触发（逻辑“1”），因此 W13 和 W23 应该是这样的，即它们的总和大于 b3，但它们中的每一个绝对值小于 b3，则取 b3 的负值。