• 投稿

Andrej Karpathy:删除一切,保留注意力 | 斯坦福讲座 - The AI Snack

966
0
2026-09-07 00:32:16
12
2
53
8
https://youtu.be/rxv6B7JODTY P1: 英语原声视频(外挂中、英字幕) https://youtu.be/rxv6B7JODTY 由 The AI Snack 发布于 2026年9月3日 P2: 汉语配音视频 由 https://www.vdub.app 提供支持 Andrej Karpathy 在斯坦福的客座讲座,探讨编程正在经历的变化——Software 2.0、作为新计算基座的大语言模型,以及 Transformer 架构的真正起源。 关于仅使用注意力机制的 Transformer 论文,在 39:25 处: “你实际上可以删除一切……让这个模型表现如此出色的,恰恰就是注意力本身。所以,删除一切,保留注意力。” 0:00 引言与背景 1:03 黑客的乐趣 2:53 编程的演变 4:49 定义软件 2.0 7:05 大语言模型的兴起 11:20 GPT 作为模拟器 14:17 面向应用的提示工程 17:55 提示作为编程 20:25 软件 3.0:提示设计 24:02 缺少的成分:外部记忆 30:03 超越语言的注意力:视觉与强化学习 34:38 Transformer 的来源 44:36 理解注意力机制 52:13 nanoGPT:一个完整的实现
视频选集
(1/2)
英语原声
01:08:31
汉语配音
01:08:31
客服
顶部
赛事库 课堂 2021拜年纪