我那张显卡玩游戏都得调低画质,一直觉得"本地跑大模型"这种事跟我没关系。
结果前两天用一个开源项目,把一个 70B 的大模型在它上面跑起来了。就 4GB 显存,真跑动了。
项目叫 AirLLM,GitHub 18.9k 星,开源免费。
它解决的痛点
想本地跑大模型的人都卡在显存上。比如一个 70B 模型,光参数塞进显存就要 100GB+,普通的家用显卡那点显存连零头都不够,第一步就被劝退。
它怎么做到的(人话版)
一个大模型像一摞积木层,70B 大概 80 层。
平时是把 80 层一次性全搬进显存 → 所以特别吃显存。
AirLLM 改成:一层搬进去 → 算完搬走 → 再搬下一层。
任何时候显存里只放一层,一层才 1.5G 左右,4G 当然够。
8G 显存甚至能跑 Llama3.1 的 405B。
怎么用
就两行,和平时几乎没差别👇
pip install airllm
AutoModel.from_pretrained("模型id")
Qwen、ChatGLM、Baichuan、Mistral 这些都支持,Mac 也能跑。
说点实话(别冲动)
① 它慢。每出一个字都要把每层从硬盘搬一遍,不适合实时聊天,适合慢慢跑、跑批量、做实验。
② 它吃硬盘,会把模型按层拆开存盘,盘小记得开 delete_original 省空间。
所以谁适合
只有老显卡、但想亲手玩一次 70B 的人;想离线/隐私不上 API 的人;跑批处理不在乎速度的人——就是你。
想要秒回的对话助手,那它不合适,老实用云 API。
显卡不够强,不再是不能上手的借口了。找个周末装上跑一遍,对大模型的感觉会很不一样。