• 投稿

【斯坦福CS229·中英双语】大语言模型原理:神经网络、BPE、Transformer与注意力|Tengyu Ma

3608
0
2026-08-20 09:57:59
179
46
635
76
这是 Stanford CS229: Machine Learning(Spring 2026)的两讲剪辑合集,由马腾宇(Tengyu Ma)教授授课,并配有中英双语硬字幕。 前半部分:Lecture 14 — Transformers, In-Context Learning 从自回归语言模型讲起,覆盖 Tokenization、BPE、Embedding、Next-token Prediction、Softmax、温度采样、Transformer、单头/多头 Attention,以及 FlashAttention。 后半部分:Lecture 7 — Neural Networks 1 (Architecture) 讲解非线性监督学习、回归与分类、交叉熵、梯度下降与 SGD、反向传播、ReLU、MLP 和神经网络架构。 时间轴: 00:00 大语言模型与自回归生成 08:24 BPE Tokenizer 13:42 Embedding 28:28 温度与采样 38:57 Transformer 整体结构 42:40 单头 Attention 01:05:54 多头 Attention 01:16:00 FlashAttention 与计算效率 01:16:45 Neural Networks 1 01:30:13 交叉熵 01:36:56 梯度下降与 SGD 01:50:40 梯度计算与反向传播 01:53:50 ReLU 与激活函数 02:02:24 神经网络层 字幕由自动识别、翻译及校对整理,难免存在疏漏,欢迎在评论区指正。 本视频为转载整理,仅供学习交流。版权归 Stanford University、Stanford Online 及原作者所有,如有侵权请联系删除。
客服
顶部
赛事库 课堂 2021拜年纪