运行时错误：CUDA 错误：运行 mae_vit_large_patch16_dec512d8 和 mae_vit_huge_patch16_dec512d8 模型时内存不足”

Question

我在尝试运行 GitHub 上

Mae 存储库中的 

mae_vit_large_patch16_dec512d8

 和 

mae_vit_huge_patch16_dec512d8 模型时遇到内存问题。我正在单个 112x112 图像上进行训练；这是我的“数据集”。我可以成功运行 mae_vit_base_patch16_dec512d8

 模型，但是当我尝试运行更大的模型时，遇到以下错误：

RuntimeError: CUDA error: out of memory 我想做的一些测试也需要测试更大的模型。

以下是有关我的设置的一些详细信息：

GPU：NVIDIA GeForce RTX 4060，配备 8GB GDDR6 显存
内存：32 GB
批量大小：1

输入图像尺寸：112x112像素

我使用相对较小的输入大小和批量大小 1。由于我正在对单个小型 PNG 图像进行多次迭代训练，因此我认为我的硬件应该有足够的内存来容纳这些模型。但是，这个错误仍然存在。

有人知道运行这些较大模型时可能导致这种“内存不足”错误的原因吗？我想做的一些测试需要测试更大的模型。是否有潜在的解决方法或配置调整可以帮助解决此问题？

Answer 1

我将 CUDA 版本降级到 11.3（从 11.8），现在我可以运行所有模型。如果有人能解释为什么这“解决”了我的记忆问题，我将非常感激。