• 投稿

MiniMind 模型代码逐行讲解-第一部分

579
0
2026-08-22 01:14:41
22
18
40
3
逐行拆解 MiniMind 开源大模型源码 model_minimind.py,329 行吃透现代 Decoder‑Only 大模型完整骨架🔥 从项目全景、模型配置、RMSNorm 归一化、RoPE 旋转位置编码、GQA 分组查询注意力、SwiGLU 前馈网络、Transformer Block,再到 KV Cache 推理、自回归 generate 生成全部讲透。 RoPE / GQA / QK‑Norm / KV Cache / Top‑P 采样这些工业界大模型核心技术,全部落实到代码行。 MiniMind 只有 2600 万参数,消费级显卡就能训练,读懂这份代码,再看 LLaMA、Qwen、DeepSeek 源码不再有壁垒。 📄配套讲稿完整开放,含英文名词注释,新手友好 ✅适合人群:大模型入门、PyTorch 练手、想看懂开源 LLM 源码的同学 🔗项目地址:https://github.com/jingyaogong/minimind
免费答疑问题~
客服
顶部
赛事库 课堂 2021拜年纪