• 投稿

普通电脑怎么本地跑大模型?显存、量化、7B/8B、Ollama 一次讲透

4.4万
107
2026-10-07 10:44:00
含AI生成内容
656
207
1143
137
本地部署大模型,真正需要解决的并不是“安装哪个软件”,而是几个更底层的问题: 为什么模型文件下载下来却不一定能运行? 7B、8B、32B、70B 到底代表什么? 4bit 量化为什么能明显降低内存需求? 显存、系统内存、KV Cache 分别在吃什么资源? CPU 能不能跑?GPU 到底解决的是容量还是速度? LM Studio、Ollama 这类工具在整个部署过程中扮演什么角色? 普通新手第一次部署,到底应该怎么选模型、怎么判断是否跑得舒服? 这期从硬件原理一直讲到实际部署流程,适合第一次接触本地大模型的人建立完整判断框架。
获取更多学习资料,请关注公中号【AI-enabled】
AI知识大科普
(12/12)
5.5万播放
简介
RAG到底是怎么工作的?从分块、Embedding、召回到Rerank完整讲透
12:21
Token到底是什么?从分词、向量到大模型逐Token生成,一次讲透
08:36
一个视频搞懂MCP:Host、Client、Server和Tools到底怎么协作?
09:28
Transformer到底改变了什么?从RNN、Self-Attention到QKV完整讲透
13:01
Vibe Coding到底是什么?从AI辅助编程到Agentic Engineering一次讲透
12:51
API到底是什么?从请求响应到AI工具调用,一次讲透底层原理
10:46
Skill到底是什么?从Prompt、MCP到Agent Skills完整讲透
11:28
大模型参数量到底代表什么?从7B、70B到MoE、量化完整讲透
10:48
大模型和传统机器学习差在哪?从特征工程、预训练到XGBoost一次讲透
12:05
大模型为什么“预测下一个词”就能和人聊天?从Token到Transformer讲明白
12:24
Embedding 是怎么把文字变成数字的?从 One-Hot 到大模型语义空间讲清楚
08:01
普通电脑怎么本地跑大模型?显存、量化、7B/8B、Ollama 一次讲透
10:25
客服
顶部
赛事库 课堂 2021拜年纪