TensorFlow softmax_crossentropy_with logits:“标签”也经过培训(如果可以区分)?

问题描述 投票:0回答:2

具有logits loss函数的softmax交叉熵用于减少提供给函数的logits和标签之间的差异。通常,标签是固定的,用于监督学习并且适应对数。但是当标签来自可区分的来源(例如另一个网络)时会发生什么?两个网络,即“logits network”和“标签网络”是否都会被后续优化器训练,或者此丢失功能是否始终将标签视为固定?

TLDR:tf.nn.softmax_cross_entropy_with_logits()是否也为标签提供渐变(如果它们是可微分的),还是它们总是被认为是固定的?

谢谢!

tensorflow fixed labels gradients loss-function
2个回答
0
投票

您需要使用tf.softmax_cross_entropy_with_logits_v2来获取标签的渐变。


-1
投票

如果“标签”来自另一个可训练的网络,则根据提供给优化器的损失计算梯度,然后是,这些将被修改,因为它们会影响损失。为您自己使用另一个网络输出的正确方法是将其定义为无法处理,或者列出您想要训练的所有变量并将它们显式传递给优化器。

© www.soinside.com 2019 - 2024. All rights reserved.