本地部署大模型,真正需要解决的并不是“安装哪个软件”,而是几个更底层的问题:
为什么模型文件下载下来却不一定能运行?
7B、8B、32B、70B 到底代表什么?
4bit 量化为什么能明显降低内存需求?
显存、系统内存、KV Cache 分别在吃什么资源?
CPU 能不能跑?GPU 到底解决的是容量还是速度?
LM Studio、Ollama 这类工具在整个部署过程中扮演什么角色?
普通新手第一次部署,到底应该怎么选模型、怎么判断是否跑得舒服?
这期从硬件原理一直讲到实际部署流程,适合第一次接触本地大模型的人建立完整判断框架。