如果你一直想真正搞懂大模型训练,而不是只会用现成接口,这个项目值得看。
MiniMind 最有意思的,不是参数多大,而是把分词器、预训练、监督微调、偏好优化、工具使用这些关键环节都尽量摊开给你。
这条视频重点讲 3 件事:
1. 为什么它会在最近爆起来
2. 为什么它的教育价值比很多只讲局部流程的教程更高
3. 为什么 64M 参数反而是它最聪明的选择
关键信息:
- 单卡 3090 约 2 小时可复现
- 成本约 3 块钱
- 主线模型 64M 参数
- 仓库约 45.9K Star,近 7 天 +951
如果你想留一个周末,真正把 GPT 训练链路跑明白,这个项目值得先收藏。
追新不盲从,实测出真知