llama2 运行 pytorch 会产生“无法创建进程”

Question

背景

1. 我正在尝试在本地计算机上运行 llama2。

2. 我已遵循 github 存储库上提供的文档

https://github.com/facebookresearch/llama

提前感谢您的支持

我做了什么？

1. 安装anaconda
2. 克隆 llama 存储库

https://github.com/facebookresearch/llama

3. 下载模型

4. 创建一个名为 llama2 的虚拟环境

5. 在 Anaconda 上安装 pytorch

conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia

6. 安装本地组件

pip install -e .

7. 执行以下命令行

torchrun 
--nproc_per_node 1 example_text_completion.py 
--ckpt_dir llama-2-7b-chat/
--tokenizer_path tokenizer.model 
--max_seq_len 512 --max_batch_size 6

错误

failed to create process.

Answer 1

根本原因

该错误来自 torchrun-script.py 的更新不正确或缺失

如何纠正问题

1. 编辑文件

C:\Apps\Anaconda3\envs\[YOUR ENVIRONMENT]\Scripts\torchrun-script.py

2. 将第一行替换为

#!c:\Apps\Anaconda3\envs\[YOUR ENVIRONMENT]\python.exe

3. 保存文件

瞧，它起作用了！

Answer 2

对我来说，Windows 11 中

torchrun-script.py 的位置是 -

C:\Users\username\anaconda3\envs\environmentname\Scripts\torchrun-script.py 我将

torchrun-script.py 的第 1 行更新为以下 -

#!C:\Users\username\anaconda3\envs\environmentname\python.exe