backpropagation 相关问题

反向传播是梯度计算的一种方法,通常用于人工神经网络中以执行梯度下降。

您是否需要根据使用的体系结构手动编码反向传播?

我是ML的新手,所以,如果问题没有道理或琐碎,请原谅我。但是我想知道每次开发网络时是否都必须手动进行反向传播。似乎...

回答 2 投票 0

PyTorch中的神经网络,损失和优化器如何连接?

我已经看到了这个问题的答案,但是我还是完全不理解。据我所知,这是最基本的设置:net = CustomClassInheritingFromModuleWithDefinedInitAndForward()条件= ...

回答 1 投票 0

关于网络输入的反向传播背后的数学是什么?

我在计算神经网络梯度,相对于输入的输出(不是错误)时遇到问题。梯度应为列向量(mx1),其中m为输入数。 ...

回答 1 投票 0

神经网络-矢量中心Python实现

您好,我尝试使用具有一个输入节点,一个输出节点和两个具有3个节点的隐藏层的矢量中心神经网络,以适应非常简单的x ** 2函数。 -只是为了验证其功能。 ...

回答 1 投票 0

CNN SGD损耗从较小的值跳到较大的值

我正在训练LeNet5样式的CNN,损失无法减少。相反,我得到了一张奇怪的图片:首先,在线SGD的成本下降了一点。然后它不断地从几乎零跳到8 -...

回答 1 投票 0


游戏的AI反向传播

此问题没有代码示例,我正在寻找一种方法来执行此操作。想象一下一个试图学习游戏的神经网络,它有4种可能的输出(它可以做的动作)。如果...

回答 1 投票 0

如何快速验证CNN确实在学习?

我尝试根据本文的LeNet体系结构从头开始构建CNN,现在尝试使用16批大小的SGD在MNIST数据集上对其进行训练。我想找到一个...

回答 1 投票 0

停止梯度流失的联合损失

我有一个输入张量数据= tf.placeholder(tf.int32,[无]),将通过embedding_matrix = tf.get_variable(“ embedding_matrix”,[5,3],tf.float32,initializer = tf嵌入。 ...

回答 1 投票 1

TensorFlow / PyTorch:外部测量的损耗梯度

我对机器学习和Python比较陌生。我有一个系统,它由一个NN组成,其输出被馈入一个未知的非线性函数F,例如一些硬件。这个想法是训练NN ...

回答 1 投票 1

PyTorch中具有反向传播和梯度下降的查找参数

我正在尝试PyTorch以及自微分和梯度下降,为此,我想估计将在........中产生任意线性值的参数的参数]

回答 1 投票 0

在哪种情况下,交叉熵优于均方误差? [关闭]

尽管以上两种方法都为更好的预测接近度提供了更好的分数,但仍然优选交叉熵。是在每种情况下还是在某些特殊情况下,我们...

回答 3 投票 36

具有反向传播的异或门

我试图了解反向传播的工作原理。因此,在编写通用算法之前,我写了一个简单的脚本来尝试理解它。脚本试图做的是训练...

回答 1 投票 3

vectorized softmax梯度

我有一个softmax层(只有激活本身,没有将输入乘以权重的线性部分),我想为此做一个后向传递。我发现了许多关于SO的教程/答案...

回答 1 投票 1

PyTorch中required_grad做什么? (不是require_grad)

我一直在尝试使用resnet作为我的骨干,在多类分类任务上进行迁移学习。在许多教程中都指出,尝试只训练...

回答 1 投票 0

Softmax的导数输出很大的形状

我正在使用Backpropagation算法在没有任何框架(例如Tensorflow,PyTorch ...)的情况下创建一个基本的,也是我的第一个手写数字识别神经网络。我的NN有784个输入...

回答 1 投票 0


为什么我的神经网络有时会出现NaN?

我最近使用youtube中的一系列视频编写了一个神经网络,该频道正在编码火车。它是用js编写的,而我是用java编写的。有时它是正确的,但其他时候我是...

回答 1 投票 0

Numpy Backprop成本未降低

我正在研究一个python脚本,该脚本允许用户在完全连接的神经网络中定义隐藏层的数量及其节点的数量。问题是,出现错误的原因是nan ...

回答 1 投票 0

有人可以检查我的异或神经网络代码有什么问题

我一直在尝试创建XOR神经网络,但对于所有输入,输出始终会收敛到某个值(例如1、0或0.5)。这是我的最新尝试:import java.io. *;导入...

回答 1 投票 1

© www.soinside.com 2019 - 2024. All rights reserved.