stabilityai/stable-cascade 需要 7 个多小时才能生成图像

Question

我正在使用这个模型：https://huggingface.co/stabilityai/stable-cascade

from diffusers import StableCascadeCombinedPipeline

print("LOADING MODEL")
pipe = StableCascadeCombinedPipeline.from_pretrained("stabilityai/stable-cascade", variant="bf16", torch_dtype=torch.bfloat16)
print("MODEL LOADED")

prompt = "a lawyer"
pipe(
    prompt=prompt,
    negative_prompt="",
    num_inference_steps=10,
    prior_num_inference_steps=20,
    prior_guidance_scale=3.0,
    width=1024,
    height=1024,
).images[0].save("cascade-combined2.png")

模型几乎立即加载，但下一部分花了 7 个多小时。

Loading pipeline components...: 100%|█████████████████████████████████████████| 5/5 [00:00<00:00,  9.73it/s]
Loading pipeline components...: 100%|█████████████████████████████████████████| 6/6 [00:00<00:00, 11.08it/s]
MODEL LOADED
  0%|                                                                                | 0/20 [00:00<?, ?it/s]  0%|                                                                                | 0/20 [04:10<?, ?it/s]

我正在使用

苹果 M2 Pro (32 GB)

Python 3.10.2

我可以做些什么来加快速度吗？因为我想生成大约 50 张图像，但以目前的速度似乎不可能。

Answer 1

假设您现在可以访问您的GPU，可以通过以下方式检查：

>>> torch.backends.mps.is_available()
>>> torch.backends.mps.is_built()

您可以在该设备上而不是 CPU 上执行推理：

device = torch.device('mps')
pipe.to(device)