langchain 与 llama2 本地慢速推理
我正在使用 Langchain 和 llama-2-13B。我已在具有 240GB RAM 和 4x16GB Tesla V100 GPU 的 AWS 计算机上设置了 llama2。大约需要 20 秒才能做出推断。我想让它更快，反应...