这是我将 n_gpu_layer 设置为 1 时的答案
要学习Python，您可以考虑以下选项：
- 在线课程：Coursera、edX、Codecadem 等网站♠♦♥◄！▬$▲▅
▅☻↑↨►☻ply↨ ▼♦$§→↓ ♠♥§ ▬▅↔→☻▼▼ ♠§☻♥☻ ▬▼↔§!→ ♠♦→☺▼♠∟§$☻ $!☻ ↨"♥‼§♣▼ ∟♥¶↨▅ $→ ↨↨ ↔▅►▲↕♦ ☻$▅↓↓▼♠♠♥♦☺$↑§§ #↑☻∟☺‼ ◄☺▬‼¶☺♠▲→▲↨ ☺↑↕ ∟ ▅▼↑☺ ↓▬!↨ ◄▲↕►↕▬$♣►▲↕ ☻►▬▬↕↔§♠§▬ "▲ § $▲♦ §↓☺♠►↨ ☺☻↔!∟ \#♥#♠↔♣$"¶‼→◄▼♣☻#↔↑∟$♦ →►◄→↕ ♥►$◄! ▬↓↔↑▲►!♠▬ ♥↔► § ▬!▅ ↓‼ ▅! ▼§↓♥ ☻☻♣▬ ▅↔↕¶↕ ▅‼ ►"¶▬☺ ♣ ↕♦§ ♦♠☻▼♥∟§♠↕§☺▲! ▬
这是我将 n_gpu_layer 设置为 33 时的 CLI
它的答案是 #####...
ggml_init_cublas：GGML_CUDA_FORCE_MMQ：否 ggml_init_cublas：CUDA_USE_TENSOR_CORES：是 ggml_init_cublas：找到 1 个 CUDA 设备：设备 0：NVIDIA GeForce RTX 3060，计算能力 8.6，VMM：是 llama_model_loader：从 ./models 加载具有 20 个键值对和 291 个张量的元数据/mistral-7b-openorca.Q4_0.gguf（版本 GGUF V2） llama_model_loader：转储元数据键/值。注意：KV 覆盖不适用于此输出。 llama_model_loader： - kv 0：general.architecture str = llama llama_model_loader： - kv 1：general.name str = open-orca_mistral-7b-openorca llama_model_loader： - kv 2：llama.context_length u32 = 32768 llama_model_loader： - kv 3：llama。 embedding_length u32 = 4096 llama_model_loader: - kv 4: llama.block_count u32 = 32 llama_model_loader: - kv 5: llama.feed_forward_length u32 = 14336 llama_model_loader: - kv 6: llama.rope.dimension_count u32 = 128 llama_model_loader: - kv 7:美洲驼。注意.head_count u32 = 32 llama_model_loader: - kv 8: llama.attention.head_count_kv u32 = 8 llama_model_loader: - kv 9: llama.attention.layer_norm_rms_epsilon f32 = 0.000010 llama_model_loader: - kv 10: llama.rope.freq_base f32 = 100 00.000000 llama_model_loader： - kv 11：general.file_type u32 = 2 llama_model_loader： - kv 12：tokenizer.ggml.model str = llama llama_model_loader： - kv 13：tokenizer.ggml.tokens arr[str，32002] = [“”，“” , "", "<0x00>", "<... llama_model_loader: - kv 14: tokenizer.ggml.scores arr[f32,32002] = [0.000000, 0.000000, 0.000000, 0.0000... llama_model_loader: - kv 15: tokenizer.ggml.token_type arr[i32,32002] = [2, 3, 3, 6, 6, 6, 6, 6, 6, 6, 6, 6, ... llama_model_loader: - kv 16: tokenizer.ggml.bos_token_id u32 = 1 llama_model_loader: - kv 17: tokenizer.ggml.eos_token_id u32 = 32000 llama_model_loader: - kv 18: tokenizer.ggml.unknown_token_id u32 = 0 llama_model_loader: - kv 19: general.quantization_version u32 = 2 llama_model_loader: - type f32: 65 tensors llama_model_loader: - type q4_0: 225 tensors llama_model_loader: - type q6_K: 1 tensors llm_load_vocab: special tokens definition check successful ( 261/32002 ). llm_load_print_meta: format = GGUF V2 llm_load_print_meta: arch = llama llm_load_print_meta: vocab type = SPM llm_load_print_meta: n_vocab = 32002 llm_load_print_meta: n_merges = 0 llm_load_print_meta: n_ctx_train = 32768 llm_load_print_meta: n_embd = 4096 llm_load_print_meta: n_head = 32 llm_load_print_meta: n_head_kv = 8 llm_load_print_meta: n_layer = 32 llm_load_print_meta: n_rot = 128 llm_load_print_meta: n_embd_head_k = 128 llm_load_print_meta: n_embd_head_v = 128 llm_load_print_meta: n_gqa = 4 llm_load_print_meta: n_embd_k_gqa = 1024 llm_load_print_meta: n_embd_v_gqa = 1024 llm_load_print_meta: f_norm_eps = 0.0e+00 llm_load_print_meta: f_norm_rms_eps = 1.0e-05 llm_load_print_meta: f_clamp_kqv = 0.0e+00 llm_load_print_meta: f_max_alibi_bias = 0.0e+00 llm_load_print_meta: n_ff = 14336 llm_load_print_meta: n_expert = 0 llm_load_print_meta: n_expert_used = 0 llm_load_print_meta: rope scaling = linear llm_load_print_meta: freq_base_train = 10000.0 llm_load_print_meta: freq_scale_train = 1 llm_load_print_meta: n_yarn_orig_ctx = 32768 llm_load_print_meta: rope_finetuned = unknown llm_load_print_meta: model type = 7B llm_load_print_meta: model ftype = Q4_0 llm_load_print_meta: model params = 7.24 B llm_load_print_meta: model size = 3.83 GiB (4.54 BPW) llm_load_print_meta: general.name = open-orca_mistral-7b-openorca llm_load_print_meta: BOS token = 1 '' llm_load_print_meta: EOS token = 32000 '' llm_load_print_meta: UNK token = 0 '' llm_load_print_meta: LF token = 13 '' llm_load_tensors: ggml ctx size = 0.22 MiB llm_load_tensors: 将 32 个重复层卸载到 GPU llm_load_tensors: 将非重复层卸载到 GPU llm_load_tensors: 已卸载 33/ 33 层到 GPU llm_load_tensors：CPU 缓冲区大小 = 70.32 MiB llm_load_tensors：CUDA0 缓冲区大小 = 3847.56 MiB ................................ ...................................................... ................. llama_new_context_with_model: n_ctx = 4096 llama_new_context_with_model: freq_base = 10000.0 llama_new_context_with_model: freq_scale = 1 llama_kv_cache_init: CUDA_Host KV 缓冲区大小 = 512.00 MiB llama_new_context_with_model: KV 自大小 = 512.00 MiB ，K (f16)：256.00 MiB，V (f16)：256.00 MiB llama_new_context_with_model：图形分割（测量）：66 llama_new_context_with_model：CUDA0 计算缓冲区大小 = 296.00 MiB llama_new_context_with_model：CUDA_Host 计算缓冲区大小 = 20.00 MiB AVX = 1 | AVX_VNNI = 0 | AVX2 = 1 | AVX512 = 1 | AVX512_VBMI = 0 | AVX512_VNNI = 0 | FMA = 1 |霓虹灯 = 0 | ARM_FMA = 0 | F16C = 1 | FP16_VA = 0 | WASM_SIMD = 0 | BLAS = 1 | SSE3 = 1 | SSSE3 = 0 | VSX = 0 | #################################################### #################################################### #################################################### #################################################### #################################################### #################################################### #################################################### #################################################### #################################################### ##################################################
llama_print_timings：加载时间 = 204.69 毫秒
llama_print_timings：采样时间 = 43.81 ms / 500 次运行（每个令牌 0.09 毫秒，每秒 11412.92 个令牌）
llama_print_timings：提示评估时间 = 204.58 ms / 62 个令牌（每个令牌 3.30 ms，每秒 303.07 个令牌）
llama_print_timings：评估时间 = 31397.33 ms / 499 次运行（每个令牌 62.92 毫秒，每秒 15.89 个令牌）
llama_print_timings：总时间 = 32731.88 ms / 561 个令牌
RTX3060 - Windows 11 - Python 3.12.2
型号：mistral-7b-openorca.Q4_0.gguf
llama_cpp_python
我使用 cuBLAS 来激活 BLAS=1，它使用 GPU，但现在令牌很糟糕。