我可以像扩散器一样在变压器库中动态添加或删除 LoRA 权重吗

Question

我看到在扩散器库中，有一个基于本文动态添加和删除LoRA权重的功能https://github.com/huggingface/blog/blob/main/lora-adapters-dynamic-loading.md · GitHub 并使用load_lora_weights 和fuse_lora_weights。我想知道我是否也可以用 LoRA 对变压器做类似的事情？

Answer 1

在 PEFT 中，当您创建或加载适配器时，您需要为其命名。

然后您可以通过名称动态启用您选择的适配器 https://huggingface.co/docs/peft/package_reference/lora#peft.LoraModel.set_adapter

请参阅此处的示例，了解如何执行此操作： https://huggingface.co/docs/peft/en/developer_guides/lora#load-adapters