• 投稿

token自由=bonsai27b+ninfer 8g显卡流畅运行

29.3万
250
2026-09-20 14:43:05
个人观点,仅供参考
1.9万
4177
3.1万
4220
简易现行版本,不代表最终成品。另外因为权限问题,本视频不做权重下载,只进行复现工程细则和工具包的发放,最终成品需要自行组装。目前还在开发中,相比发布版本,已有更大进展~ CSDN:https://blog.csdn.net/shensanshu/article/details/166012877?fromshare=blogdetail&sharetype=blogdetail&sharerId=166012877&sharerefer=PC&sharesource=shensanshu&sharefrom=from_link 魔搭:www.modelscope.cn/models/shensanshu/ninfer-ada-ternary github(源码+引擎原件):https://github.com/1314521gjy/ninfer-fusion-kvmem 论文在网盘:https://pan.quark.cn/s/4ce82c915551
58.5万播放
简介
稠密27b跑出moe的速度:难他天?
09:19
本地千问三档调优:更快,更小,更强。
12:54
普通显卡终极千问部署方案=kvmem+bonsai27b
10:58
token自由=bonsai27b+ninfer 8g显卡流畅运行
17:37
终极千问部署方案=ninfer+kvmem 首发!
10:11
llama 5倍速:英伟达开源大模型Nemotron专武引擎
04:47
客服
顶部
赛事库 课堂 2021拜年纪