NeuralNet回归,输入归一化/输出非归一化和激活函数的作用?

问题描述 投票:0回答:1

给出训练数据集Xtrain(m x n)和ytrain(m,)以及一些神经网络顺序模型。

何时以及在什么范围上也必须对训练数据进行标准化?预测值应如何被归一化?以及不同层的激活功能的选择如何影响呢?

  • 我们必须规范化Xtrain数据吗?
  • 我们归一化的范围,例如[0-1],[-1,1],[-5,5],[0,)是否取决于输入层激活函数域?还是所有激活函数都会影响它,因此应该将其归一化为模型中所有激活函数的通用范围?

以及用于训练的目标(训练):

  • 必须非正规化吗?
  • 是否必须归一化为输出层激活函数的范围或所有层的公共范围?

非常困惑,因此不胜感激。

tensorflow keras normalization denormalization
1个回答
0
投票

我们必须规范化Xtrain数据吗?-是的,我们必须

我们归一化的范围是否取决于输入层的激活功能?-不,不是

必须非正规化吗?-否

是否必须归一化为输出层激活函数的范围或所有层的公共范围?-其实我没收到问题。但是,让我解释一下标准化是如何工作的。


归一化的主要目的-使功能单一视图。标准化可提高模型的数值稳定性。如果您具有不同的功能(例如,某些数字列的范围介于1000和20000之间,某些数字列的范围介于-10和5之间,某些布尔列等等),则必须进行标准化。这会将您的非常不同的人变成相似的人。

但是为什么我们需要它?在神经网络中,每个神经元都将特征和权重作为输入:g(X) = X^T * w因此,如果您的某些功能比其他功能大,则该模型将更加关注大量功能。

谈到非正规化。我们是否需要对y值进行反规范化?不,我们不。由于我们没有对模型进行训练的y_train特征进行归一化,因此我们不需要对预测值进行归一化。

© www.soinside.com 2019 - 2024. All rights reserved.