backpropagation 相关问题

反向传播是梯度计算的一种方法,通常用于人工神经网络中以执行梯度下降。

pytorch中的列选择可微分吗?

Pytorch 中的列选择可微分吗?例如,如果我想从每一行中选择一列来创建一个新的行 X 1 数组,然后使用这个新数组作为背景,背景会工作吗...

回答 2 投票 0

如何手动向模型参数添加偏差,并使该偏差可训练用于梯度反向传播和更新

我有一些来自不同领域的任务,并且有一个名为 MetaModel 的基本模型可以执行回归。我想在

回答 1 投票 0

keras 如何处理多重损失?

如果我有类似的东西: 模型 = 模型(输入 = 输入,输出 = [y1,y2]) l1 = 0.5 l2 = 0.3 model.compile(loss = [loss1,loss2], loss_weights = [l1,l2], ...) Keras 如何处理

回答 3 投票 0

SymPy - 无法计算 rt 表达式的导数,是否有中间表达式的替代方案?

我正在浏览 Andrej Karpathy 的视频“神经网络和反向传播的详细介绍:构建 micrograd”,以及“手动反向传播示例 #1:简单

回答 1 投票 0

嵌套神经网络的局部阻塞梯度更新

我在 torch 中有两个嵌套的神经网络,我正在计算输出中相对于不同参数的多个损失。下面是一个简单的案例 # 两个神经网络 >>&...

回答 1 投票 0

通过具有固定参数的神经网络组合进行反向传播

我目前正在编写一些涉及两个神经网络的代码,并且.在这个结构中,我提供批量数据,我试图通过一些损失函数进行训练。对于这个问题,有

回答 1 投票 0

Pytorch:运行时错误:预期的 dtype Float 但得到的 dtype Long

我在 Pytorch 中构建简单的神经网络时遇到了这个奇怪的错误。我不明白这个错误以及为什么在向后函数中使用 Long 和 Float 数据类型。有人遇到过这个吗?比...

回答 3 投票 0

使用Python进行反向传播和梯度下降

我是梯度下降的新手,我完全迷失在下面的练习中。第一部分是用一个简单的例子进行解释。这是这个例子: 训练模型时,我们希望找到

回答 1 投票 0

如何制作一个单神经元神经网络?

我想制作一个像 w1x1+w2x2+w3*x3+b1 这样的单神经元函数 我的训练输入是 [1,0,0], [0, 1, 0], [0,0,1], [...

回答 1 投票 0

在神经网络训练中保留历史损失最少的模型有意义吗?

我是bp神经网络的初学者,我正在尝试使用bp神经网络解决一些物理和机械回归问题。 在学习神经网络的过程中,我发现

回答 1 投票 0

PyTorch CNN 训练后仅返回一个结果

我正在训练 CNN 图像分类器。该网络将 255 x 255 RGB 图像分为 5 个类别,编号为 0 到 4。 但网络在训练过程中表现得很奇怪。虽然损失函数...

回答 1 投票 0

使用 hooks 在 Pytorch 中向后传递期间打印中间梯度值

我正在尝试使用注册后向挂钩来打印模型向后传递期间每个中间梯度的值: 类 func_NN(torch.nn.Module): def __init__(self,) :

回答 1 投票 0

在 Pytorch 中冻结中间层

假设我有一个简单的神经网络设计为: lin0 = nn.线性(2, 2) lin1 = nn.线性(2, 2) lin2 = nn.线性(2, 2) 我的目标是冻结第二层,保持权重更新,如果...

回答 1 投票 0

如何在 PyTorch 中计算 RNN 单元的截断时间反向传播 (BPTT)

为了简单起见,我有一个由 N 个输入数据(如单词)组成的序列,并且有一个 RNN 单元。我想计算循环内 K 个单词的滑动窗口上的中继反向传播时间 (BPTT):

回答 1 投票 0

神经网络中异或数据的反向传播

我需要实现一个仅使用 numpy 的神经网络,它有两个输入,有一个隐藏层(使用 ReLU 作为激活函数)和一个输出层(使用 sigmoid 作为激活函数)。该...

回答 1 投票 0

CNN 反向传播中不匹配的内核和 delta 内核形状

背景 我遵循了这两个视频中关于 CNN 反向传播的解释。 https://www.youtube.com/watch?v=Pn7RK7tofPg&t=703 https://www.youtube.com/watch?v=Lakz2MoHy6o&am...

回答 1 投票 0

ONNX 运行时上的反向传播

我想用C++在ONNX模型上实现反向传播。这是过程,我在 pytorch 中训练模型,然后将其导出到 ONNX。我使用 ONNX 运行时导入模型,现在我的目标是

回答 1 投票 0

运行时错误:张量的元素 0 不需要 grad 并且没有 grad_fn

当我运行程序时,出现以下错误: RuntimeError:张量的元素 0 不需要 grad 并且没有 grad_fn 但是我设置了 gen_y = torch.tensor(gen_y,requires_grad=True),但是

回答 1 投票 0

既然 Rust 不允许多个可变引用,类似 PyTorch 的自动微分如何在 Rust 中工作?

我主要是一个局外人,试图了解 Rust 是否适合我的项目。 Rust 有一些框架可以自动微分。具体来说,蜡烛和其他一些项目,我...

回答 1 投票 0

SGD 和反向传播有什么区别?

你能告诉我随机梯度下降(SGD)和反向传播之间的区别吗?

回答 4 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.