8G显存256k上下文一键部署Cyber-Tiel-Coder-35B-A3B和接入 DeepSeek Harness完整教程
终极千问部署方案=ninfer+kvmem 首发!
Strata 神框架 部署Qwen3.6-35B-A3B速度能起飞吗?
35B MoE还没结束:Occamy-1.0,让Qwen3.6 35B-A3B再进化!
8G显存本地跑 Qwen3.8-27B?KVMEM,Bonsai2,NInfer,引擎和模型全部备好!本地模型部署工具
Strata速度直观感受
MoE4All 1.0.3:太震撼了,A卡跑q6的35b居然干到201解码,3600预填充!
速度保住!质量保住!容量保住!Strada+KVMem+actKV+128K/256K/1M+3060Ti 8GiB+内存32GiB+XeonE5 2696v3
KVMem 0.18版本更新: 5060ti Qwen 27b 256k上下文提速68%,53t/s
8G 显存AMD老卡实测-2:Ornith 1.5 9B 在 Vulkan 下跑通 256K 上下文
强推神项目Strata!12G显卡跑Qwen3.8 Flash Next!速度93t/s!
Ornith-1.5全系列开源!397B/35B MoE + 9B Dense,自改进SOTA,旗舰媲美Claude Opus 4.8,9B直接跑手机
8G 显存本地部署 Bonsai-2-27B (基于 qwen3.8-27b)
token自由=bonsai27b+ninfer 8g显卡流畅运行
也许是最强的12G显存+32G内存跑27B的本地Agent方案
跑分它赢了,真活它输了:Ornith 1.5 35B vs Qwen 3.8 27B
Ornith 1.5 35B 实测:Q4 和 Q8 差距大到我意外,结果有点差强人意
Ornith-1.5 重磅发布 堪比Qwen3.8 27B
Qwen3.8 35B是等不到的了,大家本地都用哪些MoE大模型呢?Nex-N2.5、Ornith-1.5、K2-Horizon-MoVA
仅用5G显存!笔记本3060 6G本地部署Qwen3.6-35B-A3B + 视觉模型