视频中相关资料地址:👉https://www.xgdn.com/78.html
Qwen3.8-35B-A3B 大模型下载
Hugging Face下载地址:https://huggingface.co/empero-ai/Qwen3.8-35B-A3B-Distill-GGUF/tree/main
夸克网盘下载地址:https://pan.quark.cn/s/e33c9e5cc999?pwd=bMYH
注意:网盘下载地址里的内容一定要保存到你自己的网盘,我后面会删掉。
下载 llama.cpp
Github 下载地址:https://github.com/ggml-org/llama.cpp/releases
夸克网盘下载地址:https://pan.quark.cn/s/f069fa0a162d?pwd=R2vL
Hermes Agent 下载
Hermes Agent 下载地址:https://hermes-agent.nousresearch.com/
夸克网盘下载地址:https://pan.quark.cn/s/fd2e158b2d8b?pwd=RtRG
启动.bat 启动脚本
@echo off
title Qwen3.8-35B-A3B-Distill - llama.cpp
cd /d "%~dp0"
echo.
echo ========================================
echo XChaoGe.Com
echo llama.cpp Local AI Server
echo ========================================
echo.
llama-server.exe ^
-m "models\模型名" ^
--mmproj "models\mmproj-Qwen3.8-35B-A3B-F16.gguf" ^
--host 127.0.0.1 ^
--port 8085 ^
-c 65536 ^
-ngl 99 ^
-fa auto ^
--jinja ^
--parallel 1 ^
--alias Qwen3.8-35B-A3B-Distill ^
--temp 0.6 ^
--top-p 0.95 ^
--top-k 20 ^
--repeat-penalty 1.05 ^
--cache-type-k q8_0 ^
--cache-type-v q8_0 ^
--reasoning on ^
-n 32768
pause