https://youtu.be/rxv6B7JODTY
P1: 英语原声视频(外挂中、英字幕) https://youtu.be/rxv6B7JODTY 由 The AI Snack 发布于 2026年9月3日
P2: 汉语配音视频 由 https://www.vdub.app 提供支持
Andrej Karpathy 在斯坦福的客座讲座,探讨编程正在经历的变化——Software 2.0、作为新计算基座的大语言模型,以及 Transformer 架构的真正起源。
关于仅使用注意力机制的 Transformer 论文,在 39:25 处:
“你实际上可以删除一切……让这个模型表现如此出色的,恰恰就是注意力本身。所以,删除一切,保留注意力。”
0:00 引言与背景
1:03 黑客的乐趣
2:53 编程的演变
4:49 定义软件 2.0
7:05 大语言模型的兴起
11:20 GPT 作为模拟器
14:17 面向应用的提示工程
17:55 提示作为编程
20:25 软件 3.0:提示设计
24:02 缺少的成分:外部记忆
30:03 超越语言的注意力:视觉与强化学习
34:38 Transformer 的来源
44:36 理解注意力机制
52:13 nanoGPT:一个完整的实现