backpropagation 相关问题

反向传播是梯度计算的一种方法,通常用于人工神经网络中以执行梯度下降。

Tensorflow:更改影响反向传播的激活

在Tensorflow中是否有一种方法可以在反向传播期间将隐藏节点激活更改为不同的值?也就是说,假设层中的节点在转发期间输出值'a1'...

回答 1 投票 1

为什么这是为神经网络执行成本函数的正确方法?

所以在我的头撞墙几个小时之后,我在网上寻找解决问题的方法,并且效果很好。我只是想知道是什么原因造成了这个问题...

回答 1 投票 -1

没有衍生物的梯度下降

所以我想了解Gradient Descent并且我很困惑。如果你有一个抛物线,当你改变一个重量时,这是抛物线。而不是在x的点上取出导数,为什么不...

回答 1 投票 0

Python简单的反向传播不能按预期工作

我正在尝试实现反向传播算法,以显示如何使用双层神经网络来表现为XOR逻辑门。我在这里遵循了这个教程。跑完后,我期待......

回答 1 投票 1

注意模型中的反向传播

我试图通过比例点产品注意模型弄清楚如何进行反向传播。缩放的点生产注意力将Q(查询),K(键),V(值)作为输入并执行...

回答 1 投票 0

使用损失函数更新神经网络的权重

我对使用tf.reduce_mean(tf.nn.l2_loss(预测 - 输出))行感到困惑。在进行反向传播时,输出应该是一个向量,因为每个输出神经元的预测输出是......

回答 1 投票 0

为什么在时间反向传播中添加渐变而不是平均?

在RNN的反向传递的以下实现中,通过在每个时间步长处添加计算的梯度来计算Wh,Wx和b的梯度。直观地说,这是做什么的......

回答 1 投票 1

在MLPClassification Python中实现K-fold交叉验证

我正在学习如何使用scikit-learn开发反向传播神经网络。我仍然对如何在我的神经网络中实现k折交叉验证感到困惑。我希望你们能帮助我。 ...

回答 3 投票 1

用python / numpy反向传播 - 计算神经网络中权重和偏置矩阵的导数

我正在开发python中的神经网络模型,使用各种资源将所有部分组合在一起。一切正常,但我对一些数学有疑问。该模型有变量......

回答 2 投票 1

我是否需要在反向传播方程(SGD)中包含我的缩放输出?

快速问题,当我将损失函数反向传播到我的参数并使用缩放输出(例如tanh(x)* 2)时,我是否需要包含缩放输出的衍生物w.r.t原始...

回答 1 投票 0

反向传播重量调整功能不起作用

我正在使用sigmoid激活功能创建一个神经网络,我的体重调整功能不起作用。权重从-1到1随机初始化,网络训练值...

回答 1 投票 0

为什么批次没有可变长度序列/数据条目(例如句子)?

问题中提到的限制发生在Keras上下文中。我已经阅读了很多关于如何批量生成可变长度序列的帖子(我理解对这些帖子的回复),......

回答 1 投票 1

参数retain_graph在Variable的backward()方法中意味着什么?

我正在阅读神经转移pytorch教程,并对使用retain_variable(不推荐使用,现在称为retain_graph)感到困惑。代码示例显示:class ContentLoss(nn ....

回答 2 投票 16

如何在pytorch中使用自定义损失的反向传播?

我正在尝试实现一个Siamese网络,两个图像之间的排名损失。如果我定义自己的损失,我可以按如下方式进行反向传播步骤吗?当我运行它有时似乎......

回答 2 投票 0

TensorFlow中的引导反向传播

我想在TensorFlow中实现本文中介绍的“引导反向传播”技术,该技术在本文中有所描述。计算上意味着当我计算......

回答 2 投票 8

当神经网络丢失下降但准确性没有增加?

我为具有一个隐藏层和sigmoid激活函数的神经网络实现了基于批处理的反向传播算法。输出层是一热的Sigmoid层。第一层的网是z1 ....

回答 1 投票 1

反向传播表现出二次存储器消耗

我在TensorFlow遇到了一个奇怪的问题。我设置了一个非常简单的分类问题,四个输入变量,一个二进制输出变量,一个权重和偏差层,输出经过...

回答 2 投票 1

使用LSTM在张量流中进行分布式训练

LSTM是算法还是节点?如果在模型中使用它,如果我使用分布式培训,反向传播会发生冲突吗?

回答 1 投票 1

为什么我的实施深度神经网络的成本经过几次迭代后会增加?

我是机器学习和神经网络的初学者。最近,在观看了Andrew Ng关于深度学习的讲座之后,我尝试使用自己的深度神经网络实现二元分类器。 ...

回答 1 投票 1

具有多个输出的反向传播

我目前正在编写一个神经网络模块,我已经了解一切只能用一个输出。但是当有多个输出时,我被告知总结每个输出的错误...

回答 1 投票 2

© www.soinside.com 2019 - 2024. All rights reserved.