冷冻角膜层会减少训练所需的记忆吗?

问题描述 投票:1回答:1

我已经对大型模型进行了预训练,这些模型无法放入我的自动装箱车。如果冻结图层,训练所需的内存会减少吗?如果是这样,冻结的图层权重是否不会保存在vram中?

tensorflow keras keras-layer tf.keras
1个回答
1
投票

冻结权重是模型的参数的一部分。因此,如果冻结它们,则唯一会发生的事情是不会对它们进行任何计算(请注意:这通常是正确的,但并不总是正确的),因此优化将为[[faster。由于它们仍然是整个优化过程的一部分,因此在优化(训练)过程中它们将被加载就像没有冻结一样。

© www.soinside.com 2019 - 2024. All rights reserved.