如果GD的初始化权重是一个鞍点会怎样?

问题描述 投票:0回答:1

现有的权重初始化策略是否可以确保它们不会在鞍点处终止?

machine-learning optimization gd
1个回答
0
投票

当今大多数初始化方法是随机初始化。因此,几乎可以肯定的是,除非函数在开放集上是常数,否则模型不会在鞍点处初始化。实际上,除非函数在开放集上是恒定的,否则鞍点集的测量在参数空间上为空。]

© www.soinside.com 2019 - 2024. All rights reserved.