backpropagation 相关问题

反向传播是梯度计算的一种方法,通常用于人工神经网络中以执行梯度下降。

我的BPTT实现有什么问题?

我尝试通过时间手动实现反向传播,但最终网络无法融合。我尝试在网上四处寻找有关BPTT的描述和课程,并且代码确实...

回答 1 投票 0

神经网络输入缩放

我在CIFAR-10数据集上训练了一个简单的完全连接的网络:导入炬导入torch.nn为nn导入torch.nn。用作F导入torchvision导入torchvision.transforms作为变换...

回答 1 投票 0

具有多个输出的网络,如何计算损耗?

[当训练一个具有多个分支且因此具有多个损失的网络时,keras描述中提到,全局损失是两个部分损失的加权总和,即...

回答 1 投票 0

使用神经网络中使用softmax函数的反向传播算法

我正在从头开始为MNIST数据创建一个神经网络,所以我在输出层有10个类。我需要执行反向传播,为此,我需要为最后一层计算dA * dZ,其中...

回答 1 投票 0

在python中进行逻辑回归的负对数似然成本和相对于w,bF的梯度损失

用于查找成本函数的公式:用于计算w,b的梯度损失的公式:参数:w-权重,大小为(num_px * num_px * 3,1)的numpy数组b-偏差,标量X-数据大小(num_px * ...

回答 1 投票 -1

向后传播的澄清

[就像我通常在家里待了太长时间时所做的那样,我正在考虑向后传播。如果我的想法正确,那么对于计算权重更新,我们实际上就不需要计算...

回答 1 投票 0

基于矩阵的反向传播算法有什么问题?

我正在通过尼尔森的神经网络和深度学习进行工作。为了加深我的理解,尼尔森建议改写他的反向传播算法,以采用基于矩阵的方法(据说很多...

回答 1 投票 0

反向传播示例

我正在尝试实现自己的神经网络,但是我对自己的数学是正确的不是很自信。我正在进行MNIST数字识别,因此我的softmaxed输出为10个概率。作为输出。 ...

回答 1 投票 0

如何在不同大小的图层上执行反向传播?

我正在使用众所周知的手写数字MNIST数据库开发第一个神经网络。我希望NN能够将给定图像的数字分类为0到9。我的神经网络由...

回答 1 投票 2

无法在我的神经网络中执行不同大小的层的反向传播

我正在使用众所周知的手写数字MNIST数据库开发第一个神经网络。我希望NN能够将给定图像的数字分类为0到9。我的神经网络由...

回答 1 投票 1

如何训练反叛神经元?

我正在通过mmnist时尚数据集训练一个非常基本的NN。我正在使用自己的代码,这并不重要。我使用了一个与ADAM类似的简化算法,并使用了一个古怪的公式(train_value-...

回答 1 投票 -1

当我在torch.no_grad()中包含'loss.backward()'时,为什么反向传播过程仍然可以工作?

我正在使用PyTorch中的线性回归示例。我知道我在'with torch.no_grad():'中包含'loss.backward()'时做错了,但是为什么它与我的代码配合得很好?根据pytorch文档,...

回答 1 投票 0

反向传播和递归神经网络是否相同?

我到处都搜索了这个主题,但是找不到我想要的确切解决方案。因此,我对反向传播和递归神经网络这两个术语仍然感到困惑。我...

回答 1 投票 0

为什么在定义RELU autograd函数时需要克隆grad_output并将其分配给grad_input?

我正在学习pytorch教程的autograd部分。我有两个问题:为什么在反向传播过程中,除了简单分配外,为什么需要克隆grad_output并将其分配给grad_input? ...

回答 1 投票 0

带有Tensorflow 2.0中用于学习转移的反向支持的Gradcam

我在TF 2.0中使用梯度可视化和转移学习时出错。梯度可视化在不使用转移学习的模型上工作。当我运行代码时,出现错误:...

回答 2 投票 2

我如何鼓励在前馈神经网络中冒险?

我正在第一次真正地深入到神经网络,并且我正在尝试构建没有任何外部数据库的经典“数字识别网络”。经过一些初步测试,我得到了...

回答 1 投票 1

火炬:反向传播梯度,无需更新变量

在pytorch中,是否存在一种有效的方法来反向传播渐变,但不更新其相应变量?似乎在更新期间每次都复制权重太昂贵了。但是...

回答 1 投票 1

反向传播在C ++神经网络中提供奇怪的值

[我正在尝试使用我用C ++从头开始编写的神经网络来解决虹膜数据集,该神经网络将150行分为4列的3种不同的花朵,然后是花朵类型的第五个花朵...

回答 1 投票 0

PyTorch:简单的前馈神经网络在没有keep_graph = True的情况下无法运行

以下是我用于训练前馈神经网络(FFNN)的代码。标签是介于0到50之间的数字。FFNN包含一个包含50个神经元的隐藏层和一个包含51个神经元的输出层...

回答 1 投票 0

ND卷积反向传播

为了教育,我正在尝试在卷积神经网络中实现N维卷积层。我想实现反向传播功能。但是,我不确定...

回答 1 投票 8

© www.soinside.com 2019 - 2024. All rights reserved.