亲测16G显存用llama.cpp本地部署Qwen3.8 27B然后跑Hermes的任务。
模型用的是Qwen3.8-27B-UD-Q3_K_XL.gguf，我能调试出来的最快速度是70t/s，启动参数见置顶评论，欢迎小伙伴继续优化。
测试了用Hermes极简提示生成PPT文件，效果超出预期，相信其他任务也会很厉害。
模型下载地址：https://hf-mirror.com/
期待Qwen3.8 35B-A3B和Qwen3.8 122B-A10B的开源哈哈哈
视频中Hermes用到的提示词如下：
你是一个专业的大语言模型测评专家,本次任务是制作一个PPT:
1、使用searxng搜索引擎联网搜索一个最好的ppt应该具备的所有要求.
2、然后按照要求调用你所有相关的技能制作一个你认为最好的ppt文件.
3、ppt主题是:“本地部署hermes哪个模型最好,备选的三个模型分别是 Qwen-AgentWorld-35B-A3B-MTP-Uncensored-APEX-I-Balanced.gguf、Agents-A1-Uncensored-MTP-APEX-I-Balanced.gguf 和 Qwen3.8-27B-UD-Q3_K_XL.gguf”
4、ppt风格为浅色科技风,页数不限.
5、ppt里要明确列出你使用哪个大模型和哪些技能制作的,还有本次任务的总时间.
6、这是一个比赛,要力争第一,你制作的ppt会由第三方在线AI打分,得分高低将决定以后你会使用这三个模型中的哪一个模型.
