llama.cpp 是一款基于 C/C++ 编写的开源大语言模型推理引擎，配合 GGUF 格式的量化模型，可以在消费级显卡上高效运行大语言模型。本教程使用 a4agent 一键安装包完成部署，它按显卡后端提供 CUDA 12.4、CUDA 13.3 与 Vulkan 三种预编译版本，并针对 8G 至 24G 及以上不同显存给出 Ornith-1.5-9B、Ornith-1.5-35B 与 Qwen3.8-27B 三款可选模型。教程以 Qwen3.8-27B 模型为主线，完整演示从选择安装包、下载模型、图形化启动 OpenAI 兼容 API 服务，到工具调用、思考模式控制、KV cache 显存优化与 MTP 投机解码加速的全过程。
教程文档：https://eogee.com/article/74
