使用 docker-compose 并使用 GPU 运行 ollama

Question

我想使用 docker-compose 并使用 nvidia-gpu 运行 ollama。我应该在 docker-compose.yml 文件中写什么？

我用docker-compose运行ollama，但是没有使用gpu，这就是我写的：

  ollama:
    container_name: ollama
    image: ollama/ollama:rocm
    ports:
      - 11434:11434
    volumes:
      - ollama:/root/.ollama
    networks:
      - fastgpt
    restart: always

我需要一个 docker-compose.yaml 文件示例。

Answer 1

我假设您已配置 GPU 并且可以成功执行

nvidia-smi

。

如果这样做，那么您可以按如下方式调整您的

docker-compose.yml

：

version: "3.9"

services:  
  ollama:
    container_name: ollama
    image: ollama/ollama:rocm
    deploy:
      resources:
        reservations:
          devices:
          - driver: nvidia
            capabilities: ["gpu"]
            count: all
    ports:
      - 11434:11434
    volumes:
      - ollama:/root/.ollama
        # networks:
        # - fastgpt
    restart: always

volumes:
    ollama:

当您启动它时，您应该在日志中看到

"Nvidia GPU detected via cudart"

。