• 投稿

低显存也能跑!Qwen3.8-35B-A3B 多模态 AI 模型本地部署教程|接入Hermes Agent

1.5万
8
2026-09-18 20:47:20
152
40
335
38
视频中相关资料地址:👉https://www.xgdn.com/78.html Qwen3.8-35B-A3B 大模型下载 Hugging Face下载地址:https://huggingface.co/empero-ai/Qwen3.8-35B-A3B-Distill-GGUF/tree/main 夸克网盘下载地址:https://pan.quark.cn/s/e33c9e5cc999?pwd=bMYH 注意:网盘下载地址里的内容一定要保存到你自己的网盘,我后面会删掉。 下载 llama.cpp Github 下载地址:https://github.com/ggml-org/llama.cpp/releases 夸克网盘下载地址:https://pan.quark.cn/s/f069fa0a162d?pwd=R2vL Hermes Agent 下载 Hermes Agent 下载地址:https://hermes-agent.nousresearch.com/ 夸克网盘下载地址:https://pan.quark.cn/s/fd2e158b2d8b?pwd=RtRG 启动.bat 启动脚本 @echo off title Qwen3.8-35B-A3B-Distill - llama.cpp cd /d "%~dp0" echo. echo ======================================== echo    XChaoGe.Com echo    llama.cpp Local AI Server echo ======================================== echo. llama-server.exe ^  -m "models\模型名" ^  --mmproj "models\mmproj-Qwen3.8-35B-A3B-F16.gguf" ^  --host 127.0.0.1 ^  --port 8085 ^  -c 65536 ^  -ngl 99 ^  -fa auto ^  --jinja ^  --parallel 1 ^  --alias Qwen3.8-35B-A3B-Distill ^  --temp 0.6 ^  --top-p 0.95 ^  --top-k 20 ^  --repeat-penalty 1.05 ^  --cache-type-k q8_0 ^  --cache-type-v q8_0 ^  --reasoning on ^  -n 32768 pause
大家好!我是X超哥,为您分享互联网资讯、实用教程和一些有趣的内容。 欢迎大家踊跃关注~ 商务合作:xchaoge90@gmail.com
客服
顶部
赛事库 课堂 2021拜年纪