什么是冻结/解冻神经网络中的一层？

Question

我已经在神经网络上玩了一段时间了，最​​近在训练神经网络之前遇到了“冻结”和“解冻”这两个术语，同时阅读了有关转移学习的文章，并且正在努力理解它们的用法。

• 应该何时使用冷冻/解冻？
• 要冻结/解冻哪些层？例如，当我导入一个预先训练的模型并将其训练在我的数据上时，除了输出层之外的整个神经网络都被冻结了吗？
  • 如何确定是否需要解冻？
  • 如果是这样，我如何确定要解冻和训练哪些层以提高模型性能？

提前感谢！

Answer 1

通过冻结，这意味着该层将不被训练。因此，其权重不会改变。