RTX 5070 Ti，16GB 显存，把 Qwen3.8-27B 的 GSQ-RCO Q3 量化模型跑在本地。NInfer 引擎下，Swift S 配置 128K 上下文，页面生成案例实测解码 123.6 tok/s；Swift XXS 支持配置到 160K 上下文。再配上 Windows 托盘、模型管理、实时监控和完整部署文档，日常启动和管理都能直接点几下完成。 cache rk8v4 如果用全4的话上下文还能再加30% 不过质量会差点
项目全开源！引擎、托盘管理器、模型转换方法、性能测试报告和完整部署教程，都在仓库里。觉得好用，欢迎点赞、分享，也欢迎到 GitHub 点个 Star！
项目仓库：https://github.com/Ryan-gsq/ninfer-16g-5070ti-5080-5090-qwen3.8-27b-gsq-rco
