ML数据预处理背后的直觉

Question

我正在学习CS231n以了解神经网络的基础。

[附带的幻灯片中，贾斯汀（导师）给出了为什么需要数据预处理的原因，而我对此并不完全理解。给出的解释类似于幻灯片上给出的解释，我不明白。幻灯片在下面。

我的第二个问题是：它实际上是标准化还是标准化？此链接表示它是standardisation，而课程材料说它是normalisation。

任何帮助将不胜感激。

Answer 1

A）“对重量的微小变化不太敏感”的含义很容易被形象化。想象一下在绘制的超平面的权重上进行一些更改，即稍微旋转一下。如果样本位于原点周围，您会注意到它们仍然可以正确分类。如果它们离原点很远，那么相同的权重变化将导致更大的错误分类。

B）有时标准化和规范化可以互换使用。我引用Bishop的机器学习和模式识别的话：“就本示例而言，我们对数据进行了线性重新定标，称为标准化，因此每个变量均具有零均值和单位标准差。”规范化可以是例如将所有特征值缩放到[0,1]范围时的最小-最大归一化，或将特征向量除以其模量时进行特征向量归一化。