逐行拆解 MiniMind 开源大模型源码 model_minimind.py,329 行吃透现代 Decoder‑Only 大模型完整骨架🔥
从项目全景、模型配置、RMSNorm 归一化、RoPE 旋转位置编码、GQA 分组查询注意力、SwiGLU 前馈网络、Transformer Block,再到 KV Cache 推理、自回归 generate 生成全部讲透。 RoPE / GQA / QK‑Norm / KV Cache / Top‑P 采样这些工业界大模型核心技术,全部落实到代码行。
MiniMind 只有 2600 万参数,消费级显卡就能训练,读懂这份代码,再看 LLaMA、Qwen、DeepSeek 源码不再有壁垒。
📄配套讲稿完整开放,含英文名词注释,新手友好 ✅适合人群:大模型入门、PyTorch 练手、想看懂开源 LLM 源码的同学
🔗项目地址:https://github.com/jingyaogong/minimind