backpropagation 相关问题

反向传播是梯度计算的一种方法，通常用于人工神经网络中以执行梯度下降。

SGD 和反向传播有什么区别？

你能告诉我随机梯度下降（SGD）和反向传播之间的区别吗？

machine-learning artificial-intelligence gradient-descent backpropagation
回答 4 投票 0

通过批量元素的串联进行反向传播

我有两个特征向量V1(N,F1,1)和V2(N,F2,1)。我想将它们跨维度 1 连接起来以创建向量 V3(N, F1+F2, 1) 并在批次的元素之间应用自注意力，即

pytorch neural-network gradient-descent backpropagation self-attention
回答 1 投票 0

如何正确更新PyTorch中的权重？

我正在尝试根据此模式使用 PyTorch 实现梯度下降，但无法弄清楚如何正确更新权重。这只是一个玩具示例，有 2 个线性层和 2 个节点......

pytorch backpropagation gradient
回答 2 投票 0

在 torch.no_grad() 中使用 .grad 的问题

我写了一些玩具示例来理解 torch.no_grad() 的工作原理： # 示例 1 进口火炬 a = torch.randn(10, 5, require_grad = True) z = a * 3 l = z - 0.5 l.sum().backward() 与 torch.no_grad(...

python pytorch gradient backpropagation
回答 2 投票 0

使用 .clamp 而不是 torch.relu 时，Pytorch Autograd 会给出不同的渐变

我仍在努力理解 PyTorch autograd 系统。我正在努力解决的一件事是理解为什么 .clamp(min=0) 和 nn.function.relu() 似乎有不同的向后传递......

python pytorch backpropagation autograd relu
回答 1 投票 0

我的 WGAN 的损失在短短五个批次（不是纪元）内就跌至负无穷大。这个 WGAN 代码有什么问题吗？

这里是Wasserstein距离的值（也是GAN的Adversarial loss） Epoch:0 batch_num:0 wgan_loss:-16.413176 Epoch:0 batch_num:1 wgan_loss:14472.721 Epoch:0 batch_num:2 wgan_loss:-10957247.0

deep-learning pytorch distance backpropagation generative-adversarial-network
回答 1 投票 0

Pytorch：计算精度？

我用numpy写了自己的autograd，听说pytorch更喜欢float32，因为它更快，更节省内存。所以我在计算中使用了numpy中的float32，并且也保存在float32中。 然而，当我

python numpy pytorch backpropagation autograd
回答 1 投票 0

如何解决 Python 中的错误（“NoneType”对象不可订阅）（colab）

我是编程新手，最近一直在尝试通过（cross-sim）来计算ANN。但是我上周因以下错误问题而陷入困境。任何人都可以帮助我解决这个问题......

python-3.x artificial-intelligence google-colaboratory backpropagation
回答 0 投票 0

无论参数如何，反向传播总是将网络推向相同的输出

我一直在努力将反向传播添加到我前一段时间编写的神经网络代码中，在添加并三次检查所有数学之后，我得出的结论是它不起作用。 n...

c++ neural-network backpropagation
回答 0 投票 0

drelu[z <= ​0​] ​= ​0 mean?

我目前正在阅读 Harrison Kinsley 的 nnfs 书，在描述反向传播中 ReLU 函数的导数时，他使用了这段代码 drelu = dvalues.copy() 德雷鲁[z<= ​0​] ​...

python artificial-intelligence backpropagation derivative
回答 1 投票 0

如何更新我的 q-network (deeplearning4j) 中的权重

我想用 deeplearning4j 创建一个深度 q 网络，但不知道如何使用计算出的损失来更新我的神经网络的权重。 （我主要关注这篇文章） 公共...

neural-network reinforcement-learning backpropagation deeplearning4j dl4j
回答 1 投票 0

LSTMCell 和 LSTM 中梯度的区别

我正在为一个项目在 numpy 中构建很多 ai 工具。以下代码为单层 LSTMCell 生成正确的输出和梯度。我通过在 PyTorch 中创建一个 LSTMCell 验证了这一点，cop...

machine-learning lstm backpropagation gradient
回答 0 投票 0

MLP 的动量反向传播

我正在尝试用动量实现反向传播，但在训练循环中，我没有得到更小的损失，而是越来越高 我已经为反向传播编写了这样的函数。我已经检查过...

python backpropagation mlp momentum
回答 0 投票 0

前一层神经元的反向传播问题

我正在尝试从头开始编写一个简单的神经 python，而不是直接使用库，因为我认为这是最好的学习方式…… 我从 3Blue1Brown 找到了一个不错的网站和 youtube，但我花了...

python machine-learning backpropagation
回答 1 投票 0

我在自己的 CNN 中被反向传播困住了

请帮助我，我的错误在哪里？ 我在没有任何外部库的情况下用 C# 编写自己的 CNN，因为我想了解神经网络的工作原理。但是现在我面临着在

c# neural-network conv-neural-network backpropagation
回答 0 投票 0

通过神经网络在 Tensorflow 中反向传播自定义梯度

这是我要解决的问题：我有一个输出给定大小图像的神经网络；这些图像然后通过一个在 TF 中不可微分的函数传递（假设它是

neural-network tensorflow2.0 backpropagation
回答 0 投票 0

如何获得基于导数的损失的网络参数梯度？

我有一个网络 y(x)，我有一个给定的数据集 dy(x)。也就是说，我知道 y 对于某个 x 的导数，但我不知道 y 本身。一个最小的例子是： 进口手电筒 # 定义 ne...

python pytorch gradient backpropagation automatic-differentiation
回答 1 投票 0

Tensorflow/Keras 模型再训练仅更新非零权重

我有一个修剪过的 TF 模型，我需要用流数据重新训练它。 模型包括嵌入层（10 个节点）、GRU 层（16 个注释）和分类层（85 个节点）。 我想重新训练...

tensorflow keras tensorflow2.0 backpropagation custom-training
回答 0 投票 0

神经网络 - Scipy 最小化值错误 tnc: 无效梯度向量

我是ML新手，我一直想用python实现一个神经网络，但是当我使用scipy库中的tnc方法的最小化函数时，我得到以下错误。ValueError: tnc: ...

python scipy neural-network backpropagation minimize
回答 1 投票 0

如何手动计算ResNet这样的CNN的后向传递的Flops数？

我一直想弄清楚如何计算ResNet后向传递中的Flops数。对于前向传递，它似乎是直接的：对每层的输入应用conv滤波器。但是如何...

deep-learning neural-network conv-neural-network backpropagation deep-residual-networks
回答 1 投票 0
最新问题
© www.soinside.com 2019 - 2024. All rights reserved.