运行时错误：cutlassF：找不到要启动的内核！在 Colab 上运行 Huggingface Transformer 时

Question

我正在尝试在 Colab 上运行此笔记本：

并收到错误：

RuntimeError: cutlassF: no kernel found to launch!

错误出现在第4步：

outputs = pipe(
    prompt,
    max_new_tokens=256,
    do_sample=True,
    temperature=0.1,
    top_p=0.95
)
print(outputs[0]["generated_text"])

Answer 1

尝试：

torch.backends.cuda.enable_mem_efficient_sdp(False)
torch.backends.cuda.enable_flash_sdp(False)

它对我有用。