我正在为一项任务实施梯度下降，并且在假设权重何时停止更新时感到困惑。当它们没有发生很大的变化时，我是否会停止更新重量，即当称量重量前一个i <=（某个阈值）时。
另外，按照我目前正在实施的方式，Weight1可以在Weight2之前完成。这是正确的还是所有的重量都应该同时完成？
简单来说，当成本/损失最小化时停止。
您应该使用偏导数分布渐变。
如果你有权访问渐变，你可以在渐变的l2范数低于某个阈值时停止，如果没有，你可以使用你的方法对你的权重之差的l2范数，通常在这种情况下的阈值不是绝对的，而是相对于|| weight_i || + small_delta。您可能还会发现此链接很有用：https://math.stackexchange.com/questions/1618330/stopping-criteria-for-gradient-method请注意，您需要对函数的性质进行一些假设，以最小化以确保最小化（在吸引盆中存在最小值，起点不是强凸函数的问题但不是一般来说是真的）。