如何调试 ValueError: `FlatParameter` 需要统一的数据类型，但得到了 torch.float32 和 torch.bfloat16？

Question

我正在尝试在 LLAMA 2 上使用 Huggingface PEFT LORA 微调进行 Pytorch Lightning Fabric 分布式 FSDP 训练，但我的代码最终失败：

`FlatParameter` requires uniform dtype but got torch.float32 and torch.bfloat16
  File ".......", line 100, in <module>
    model, optimizer = fabric.setup(model, optimizer)
ValueError: `FlatParameter` requires uniform dtype but got torch.float32 and torch.bfloat16

如何找出 pytorch 结构中的哪些张量是 float32 类型？

Answer 1

似乎是 pytorch 的一个错误： https://github.com/h2oai/h2o-llmstudio/issues/98 https://github.com/pytorch/pytorch/issues/100945