Google Colab Pro+ 上的 GPU RAM 不足，无法访问具有 40GB RAM 的 A100 GPU

Question

目前使用 Colab Pro+ 计划，可访问 A100 GPU w 40 GB RAM。然而，我使用 LLM 的应用程序仍然崩溃，因为 GPU RAM 耗尽。有什么方法可以暂时增加 GPU RAM，或者有什么编程解决方案可以减少运行期间动态 GPU RAM 的使用？

已尝试使用 36 GB RAM 运行 TPU（一些文档引用了 TPU 可用的 100GB RAM），但应用程序仍然因内存不足而崩溃。

Answer 1

我建议将此作为使用更少内存加载 LLM 的一种方法。请阅读一次，希望您能找到答案。