Pytorch:Backprop中grad_h_relu.clone()的重要性

问题描述 投票:0回答:1

我正在学习Pytorch,而我正在寻找他们网站上的教程,我无法理解grad_h = grad_h_relu.clone()的意义。

h = x.mm(w1)
h_relu = h.clamp(min=0)
y_pred = h_relu.mm(w2)

# Compute and print loss
loss = (y_pred - y).pow(2).sum().item()
print(t, loss)

# Backprop to compute gradients of w1 and w2 with respect to loss
grad_y_pred = 2.0 * (y_pred - y)
grad_w2 = h_relu.t().mm(grad_y_pred)
grad_h_relu = grad_y_pred.mm(w2.t())


grad_h = grad_h_relu.clone() # what is the signifigance of this line?


grad_h[h < 0] = 0
grad_w1 = x.t().mm(grad_h)

# Update weights using gradient descent
w1 -= learning_rate * grad_w1
w2 -= learning_rate * grad_w2
python-3.x pytorch
1个回答
0
投票
grad_h = grad_h_relu.clone()

这意味着你正在复制relu的渐变,使它不与原始的grad_h_relu共享内存。然后你对它执行一些操作。由于它们存储在两个不同的位置,通过以下操作更改grad_h的值不会影响grad_h_relu

grad_h[h < 0] = 0
grad_w1 = x.t().mm(grad_h)

需要此grad_w1来更新您的网络参数。

© www.soinside.com 2019 - 2024. All rights reserved.