• 投稿

一张 4GB 显存的破显卡,也可以把 70B 大模型跑起来了

6.3万
75
2026-06-04 10:33:56
含AI生成内容
1065
134
2476
265
我那张显卡玩游戏都得调低画质,一直觉得"本地跑大模型"这种事跟我没关系。 结果前两天用一个开源项目,把一个 70B 的大模型在它上面跑起来了。就 4GB 显存,真跑动了。 项目叫 AirLLM,GitHub 18.9k 星,开源免费。 它解决的痛点 想本地跑大模型的人都卡在显存上。比如一个 70B 模型,光参数塞进显存就要 100GB+,普通的家用显卡那点显存连零头都不够,第一步就被劝退。 它怎么做到的(人话版) 一个大模型像一摞积木层,70B 大概 80 层。 平时是把 80 层一次性全搬进显存 → 所以特别吃显存。 AirLLM 改成:一层搬进去 → 算完搬走 → 再搬下一层。 任何时候显存里只放一层,一层才 1.5G 左右,4G 当然够。 8G 显存甚至能跑 Llama3.1 的 405B。 怎么用 就两行,和平时几乎没差别👇 pip install airllm AutoModel.from_pretrained("模型id") Qwen、ChatGLM、Baichuan、Mistral 这些都支持,Mac 也能跑。 说点实话(别冲动) ① 它慢。每出一个字都要把每层从硬盘搬一遍,不适合实时聊天,适合慢慢跑、跑批量、做实验。 ② 它吃硬盘,会把模型按层拆开存盘,盘小记得开 delete_original 省空间。 所以谁适合 只有老显卡、但想亲手玩一次 70B 的人;想离线/隐私不上 API 的人;跑批处理不在乎速度的人——就是你。 想要秒回的对话助手,那它不合适,老实用云 API。 显卡不够强,不再是不能上手的借口了。找个周末装上跑一遍,对大模型的感觉会很不一样。
客服
顶部
赛事库 课堂 2021拜年纪