• 投稿

你的电脑就能跑大模型!1-bit 量化 Bonsai 实测,浏览器也能运行 17 亿参数 AI

354
0
2026-04-24 12:00:00
4
2
14
1
不用买显卡、不用装环境,一个 17 亿参数的大语言模型直接在浏览器里跑起来?PrismML 的 Bonsai 项目用 1-bit 量化把模型压缩到只有原来的 1/13.9,8B 模型不到 1GB 内存就能跑,1.7B 版本甚至靠 WebGPU 直接在浏览器运行。一个命令完成全部配置,支持 Mac、Linux、Windows 和纯 CPU。AI 本地推理的门槛正在被打破。
AI工具深度测评 | 追新不盲从,实测出真知
客服
顶部
赛事库 课堂 2021拜年纪