在更新神经网络权重时如何解释梯度和偏导数？

Question

我刚刚开始研究神经网络，设法弄清楚如何推导反向传播所必需的方程。我花了将近3天的时间问所有的教授，并搜集了所有我能找到的东西。我的数学能力虽然很差，但是我真的很想了解这个特殊公式在数学上的意义。找到梯度后，可使用该公式更新权重。

W1 = W0-L *（dC / dw）

位置：

W1 =新重量

W0 =旧重量

L =学习率

dC / dw =误差函数的偏导数和Cost的梯度向量的成员功能

到目前为止我所知道的：

1. 渐变是它的偏导数的向量，最大增加率由渐变本身给出。每个偏导数在相对于导数的方向上给出最大变化率。
2. dC / dW是这些偏导数之一。
3. dC / dW计算得出变化率。它可以告诉我们变化的方向。价值本身就是成本变化与特定重量下的重量变化之间的比例。
4. 以某种方式将dC / dW乘以学习率只是权重变化的一小部分。

我无法调和：

1. 学习率只是没有单位的标量。如何仅将标量乘以比率并最终得到可衡量的权重变化？我在这里看不懂什么？

Answer 1

人工神经网络（ANN）基于人类神经系统的概念。人类神经系统的基本单位是神经元。为了感知刺激，这些神经元存在于全身，每个神经元都与另一个神经元相连，以便将信息从身体的一部分传递到大脑。神经元的信号传递受某些化学物质的浓度控制。存在于神经元中。那里的化学物质浓度通常保持平衡状态，直到感觉到刺激后才受到干扰。因此，除非有刺激，否则不会将信号传输到其他神经元。但是，当感觉到刺激时（例如，一个人从其尖端切下了身影，那一刻的神经元就在其尖端感知到了刺激），神经元表面上化学物质的浓度增加，并且发出信号传播到另一个神经元。内部编码的信号和消息的性质取决于化学物质变化的浓度。

在ANN中，神经元是数学函数或公式，神经元的权重类似于人类神经元中化学浓度的水平。应当调整权重，以便固定公式可以对所有信息进行编码，以执行所有所需的预测，就像通过化学物质在人神经元中进行编码一样。为了找到正确的权重，人工神经网络通过海量数据进行训练，以解决该问题。

学习率是一个标量，通常在0到1之间变化（包括两个端点）。简单地通过学习率即可确定更新体重的步伐。导数是两个值之间的变化率。此处，在这种情况下，两点是预测值和实际值。对于（dC / dw），您也可以简单地使用成本函数，也就是整个网络中的错误都由那个神经元负责。该公式可能会在层与层之间以及文本与文本之间变化。这里的链接很好地解释了前馈神经网络的结构。希望您能理解。如果仍然感到困惑，您可以进一步询问。