将 Huggingface 与 Pytorch 闪电结合使用可以吗？

Question

我有一些 Huggingface 模型，我想用 PEFT LORA 进行微调。我还想使用 Pytorch Lightning Fabric 进行 FSDP 分布式训练。但是，我不确定它们是否彼此兼容。有人有同时使用这两个的经验吗？

Answer 1

您不需要仅仅为了 FSDP 而使用 Lightning Fabric。您可以在 Hugging Face 生态系统中通过其 Accelerate 包来执行此操作。在高频加速

config

中，将

distributed_type

设置为

FSDP

并设置

fsdp_config

。

查看整个文档这里。