首页

投稿

【科技大佬访谈】卡帕西斯坦福硬核演讲：拆掉复杂包装，看清Transformer的图计算本质

6352

0

2026-10-02 13:10:28

本视频内容由philia频道发布于2026年8月14日本视频文稿链接：https://www.bilibili.com/opus/1247853183942787072 视频简介：卡帕西重返斯坦福，深度拆解从传统编程到深度学习的范式转移，主张将注意力机制视为有向图上的节点通信，透视 Transformer 与自然语言编程的底层逻辑。内容框架（分段概要与时间戳） 00:00:00 - 重回斯坦福与软件范式迁移：回顾早期研究经历，阐述从手工编码到数据驱动的 Software 2.0 与 3.0 转变。 00:08:23 - 语言模型的链式思考与指令交互：分析逐步推理、命令行仿真交互与英语成为核心编程语言的趋势。 00:20:19 - 混合专家模型与通用计算结构：探讨动态工具调用、多模态融合及通用表示层向统一架构的汇聚。 00:30:48 - 深度学习大一统与注意力机制起源：梳理计算机视觉与自然语言处理的架构演进，解析 Seq2Seq 瓶颈与 Attention 的诞生。 00:44:49 - 将注意力理解为图上的消息传递：拆解 Query、Key、Value 的通信机制，论证 Transformer 在本质上是有向消息传递图。 00:54:10 - 从零实现 NanoGPT 的关键结构：剖析因果掩码、自注意力投影与残差连接的底层代码逻辑。 01:04:52 - 动态计算图与自然语言运行时的未来：对比 RNN 与 Transformer 表达能力，展望模型在运行时重构执行流的前景。

深度学习架构

大语言模型

计算机视觉

斯坦福公开课

注意力机制

关键词：Andrej Karpathy

Gelai_AI 发消息

每天更新全球顶尖访谈！精选频道：BeingValue 文稿链接：置顶动态

【科技大佬访谈】为什么马斯克死磕物理极限，决定了他的商业版图

01:50:06

【科技大佬访谈】为什么奥特曼的激进支出，决定了OpenAI的上市之路

01:03:14

【科技大佬访谈】为什么 Google 押注 1750 亿美金，决定了 AI 智能体的未来

01:09:33

【科技大佬访谈】马斯克发布TeraFab：我们要建史上最大的芯片工厂

27:08

【科技大佬访谈】哈萨比斯最新访谈：通往AGI，我们还差最后的一两块拼图

40:57

【科技大佬访谈】Sam Altman 最重要的判断：超级智能比想象中更近

46:11

【科技大佬访谈】Cadence大咖说 2026：AI Agent 如何重塑芯片设计与工业仿真

34:22

【科技大佬访谈】对话DeepMind CEO哈萨比斯：AI攻克科学难题后的下一步

01:05:11

【科技大佬访谈】2026年苹果权力交接：继任者特纳斯的挑战与AI新局

54:35

【科技大佬访谈】黄仁勋斯坦福长谈：AI不仅是技术革命，更是产业重置

58:39

【科技大佬访谈】Sam Altman与Patrick Collison对谈：AI模型突破与技术民主化

58:20

【科技大佬访谈】OpenAI创始人2026深度访谈：GPT-5.5、Sora内幕与马斯克的法律博弈

01:22:41

【科技大佬访谈】库克卸任深度访谈：缔造3万亿苹果帝国的男人

01:43:03

【科技大佬访谈】苹果50周年专访：新款MacBook Neo如何定义未来？

25:14

【科技大佬访谈】2500亿美金的豪赌：马斯克是现实版钢铁侠还是全球威胁？

01:14:20

【科技大佬访谈】AI时代领航 2026：黄仁勋谈AI的下一步：从生成式到智能体

46:21

【科技大佬访谈】黄仁勋 2026 GTC 台北演讲：定义智能体计算与 Vera Rubin 架构

02:19:21

【科技大佬访谈】Jensen Huang on Generative Computing, Re-industrialization, & Physical A

42:36

【科技大佬访谈】苹果高管揭秘：为什么自研芯片是苹果最核心的护园河

34:04

【科技大佬访谈】黄仁勋斯坦福最新对谈：计算架构正在经历60年来最大的重构

01:08:24

【科技大佬访谈】奥特曼最新访谈：AI 带来的繁荣将超出想象

43:01

【科技大佬访谈】哈萨比斯深度访谈：我们已完成 AGI 进度的四分之三

26:52

【科技大佬访谈】黄仁勋CMU演讲：AI不会取代你，但会用AI的人会

18:23

【科技大佬访谈】英伟达20亿美元入股Marvell：黄仁勋要做的不仅是GPU，而是整个AI工厂

17:06

【科技大佬访谈】GTC 巅峰对话 EP2026：开源模型与 AI 智能体的未来

22:14

【科技大佬访谈】哈萨比斯对谈诺奖得主：AI将如何彻底重塑科学研究的未来？

01:28:06

【科技大佬访谈】黄仁勋专访：英伟达如何死里逃生，以及我为什么对AI保持“谨慎乐观”

34:37

【科技大佬访谈】黄仁勋2026最新研判：智能体AI时代已来，英伟达如何布局下一代AI工厂

27:10

【科技大佬访谈】皮查伊 I/O 2026 开幕演讲：从模型到智能体，谷歌的 AI 全栈布局

42:09

【科技大佬访谈】哈萨比斯对话李世石：从AlphaGo到诺贝尔奖，AI如何重塑科学未来

21:56

【科技大佬访谈】皮查伊坦诚回应：谷歌在 AI 哪些领域落后了，以及 AGI 还有多远

28:44

【科技大佬访谈】黄仁勋对话Arm CEO：为什么智能体时代，拼的不只是模型算力

48:37

【科技大佬访谈】对话DeepMind哈萨比斯：从游戏到AlphaFold，AGI的下一步是什么

57:02

【科技大佬访谈】哈萨比斯最新判断：AI 攻克科学难题的下一步是什么

21:28

【科技大佬访谈】黄仁勋对话录 EP09：马斯克：自动驾驶其实并不难，真正需要警惕的是强AI

21:55

【科技大佬访谈】皮查伊谈谷歌重构：AI 搜索不仅是整理信息，更是重塑互联网生态

46:17

【科技大佬访谈】黄仁勋2026最新演讲：RTX Spark发布，AI Agent将彻底重构个人电脑

17:07

【科技大佬访谈】谷歌Gemini核心团队深度访谈：为什么我们坚持押注单一个体模型

42:00

【科技大佬访谈】英伟达的百亿豪赌：黄仁勋如何一步步统治AI算力帝国

33:04

【科技大佬访谈】这一轮AI竞争的终局，真正重要的不是模型参数，而是产品入口

41:10

【科技大佬访谈】AR眼镜真的退潮了吗？AI硬件的终局与智能体落地痛点

32:45

【科技大佬访谈】测试时算力这步棋，为什么会彻底颠覆现有的AI评测标准

36:19

【科技大佬访谈】对话Mike Krieger：在Anthropic如何用AI重构产品开发工作流

40:43

【科技大佬访谈】OpenAI首席研究官Mark Chen：预训练没死，o1背后的RL与Scaling Laws新解

41:18

【科技大佬访谈】特斯拉2026年Q2财报问答：马斯克详谈Cybercab与Optimus进展

01:09:56

【科技大佬访谈】Builders Unscripted EP04：GPT-5.5与Codex双剑合璧，开发者如何跨越“创造力焦虑”

28:31

【科技大佬访谈】Builders Unscripted EP05：用 AI 模拟免疫系统与构建生物学“数字孪生”

36:04

【科技大佬访谈】Notion联合创始人Simon Last专访：从笔记软件到AI工作空间的演进之路

29:03

【科技大佬访谈】AI超级应用大决战：苹果凭什么在消费级AI上反超？

58:13

【科技大佬访谈】Rivian CEO谈汽车智能化：真正拉开差距的，不是算法而是电子电气架构

31:47

【科技大佬访谈】半导体传奇陈立武：英特尔供应链重构与AI芯片的下一步

45:00

【科技大佬访谈】安卓掌门人Sameer：为什么Android 17不再只是一个操作系统

40:10

【科技大佬访谈】马斯克重磅专访：AI奇点、中国崛起与欧洲的未来

01:25:01

【科技大佬访谈】哈萨比斯：AI不只是更强的模型，它的终极目标是科学发现

42:48

【科技大佬访谈】皮查伊最新对谈：智能体、开源模型与谷歌的算力瓶颈

31:42

【科技大佬访谈】Meta 2026年Q2财报：扎克伯格如何回应AI巨额投资的回报问题

01:03:07

【科技大佬访谈】2026对话奥特曼：算力需求没有上限，OpenAI如何应对AGI时代的竞争

55:48

【科技大佬访谈】别再把AI当聊天工具了！顶级专家谈如何用智能体构建虚拟员工团队

01:15:39

【科技大佬访谈】对话DeepL创始人：为什么垂直专用模型正在围剿通用大模型？

35:22

【科技大佬访谈】OpenAI总裁最新透露：我们如何将Chat与Agent彻底融合

44:41

【科技大佬访谈】物理感知AI革命：Neural Concept如何让3D工程设计提速千倍

01:29:02

【科技大佬访谈】前Google高管Mo Gawdat最新警告：AGI已来，未来3年我们将迎来怎样的剧变？

02:02:00

【科技大佬访谈】黄仁勋最新对谈：AI竞争的终局，不只看算力，更要看物理连接

26:38

【科技大佬访谈】专访AlphaFold核心作者：我为什么离开DeepMind加入Anthropic

53:06

【科技大佬访谈】AI科研推理的下一步：如何用过程监督与世界模型解决幻觉

01:45:50

【科技大佬访谈】用AI重构公司，CEO最容易踩的几个大坑

54:07

【科技大佬访谈】对话谷歌研究副总裁：AI如何开启科学探索的黄金时代

01:11:35

【科技大佬访谈】AI时代的SaaS大洗牌：真正危险的不是模型，而是定价模式

01:00:33

【科技大佬访谈】黄仁勋：鼓吹AI毁灭人类的人，全把重点搞错了

01:10:22

【科技大佬访谈】Palantir CEO最新炮轰：硅谷大佬们为什么对 AI Token 的高昂成本感到愤怒

44:58

【科技大佬访谈】Sam Altman最新对谈：AI 创业的黄金时代，为什么现在是最好的时机

39:01

【科技大佬访谈】DeepMind首席AI架构师访谈：从Atari游戏到通用智能体的前沿演进

26:47

【科技大佬访谈】Sam Altman深度专访：OpenAI平台战略与创业底层逻辑

01:18:17

【科技大佬访谈】Sam Altman专访：模型越狱风波、硬件布局与OpenAI为何放慢脚步

01:08:40

【科技大佬访谈】奥特曼最新炉边对话：AI不是魔法，而是像电力一样的通用工具

32:41

【科技大佬访谈】Waymo CEO 深度复盘：从 Demo 到大规模商用，这 99% 的路该怎么走？

49:25

【科技大佬访谈】李飞飞团队谈空间智能：为什么新视角预测才是世界模型的核心

43:43

【科技大佬访谈】Palantir CEO最新访谈：AI恐慌、地缘政治与欧洲的自救之路

01:00:08

【科技大佬访谈】对话《AI帝国》作者：揭秘OpenAI等硅谷巨头背后的资源掠夺与劳动力剥削

33:23

【科技大佬访谈】亚马逊2026年Q2财报：AWS重回增长轨道，AI投入如何兑现利润？

50:26

【科技大佬访谈】扎克伯格谈Meta最大AI押注：为什么全天候个人智能体能帮你赚钱

01:10:11

【科技大佬访谈】微软CEO纳德拉深度对谈：我不迷信AGI，但我看好AI驱动的10%增长

01:16:55

【科技大佬访谈】扎克伯格最新访谈：18个月内 AI 将编写 Meta 大部分代码

01:15:50

【科技大佬访谈】对话奥特曼：AI时代的创业，真正重要的不是模型，而是这三个判断

01:09:39

【科技大佬访谈】微软CEO纳德拉深度访谈：AGI时代的算力竞争与商业逻辑

01:28:42

【科技大佬访谈】Anthropic CEO回应十年内AI灭绝人类论：为什么行业必须主动放慢节奏

12:28

【科技大佬访谈】2026年 Travis Kalanick 深度访谈：离开 Uber 后的八年，我如何用 AI 重构物理世界

01:32:18

【科技大佬访谈】扎克伯格谈Meta新AI Muse：人人可用的个人超级智能

25:23

【科技大佬访谈】微软CEO纳德拉深度对谈：AI泡沫论之下，企业级市场真正的赢家是谁

36:33

【科技大佬访谈】对话Meta CTO：Llama走过的弯路，与AI眼镜的真实未来

44:23

【科技大佬访谈】Palantir CEO最新演讲：为什么“主权AI”才是企业的终极护城河

16:19

【科技大佬访谈】奥特曼对话贝尼奥夫：AI智能体如何重构企业与创业格局

37:21

【科技大佬访谈】苹果为什么等了近十年才做折叠屏？专访硬件与营销高管

21:07

【科技大佬访谈】黄仁勋YC最新对谈：造就英伟达的底层思维与生存法则

49:00

【科技大佬访谈】卡帕西斯坦福硬核演讲：拆掉复杂包装，看清Transformer的图计算本质

01:08:31

【科技大佬访谈】马斯克与肖特维尔对谈：AI同行评议与星舰制造真相

01:04:25

【科技大佬访谈】OpenAI总裁格雷格：当AI学会使用电脑，真正的质变在哪里

49:38

【科技大佬访谈】OpenAI总裁深度反思：模型越狱事件之后，AI安全与行业协作何去何从

01:02:52

【科技大佬访谈】比尔·盖茨深度对谈：AI带来的风险、失业冲击与未来监管

01:13:50

【科技大佬访谈】Figma创始人Dylan Field：AI泛滥的时代，为什么“审美”才是最稀缺的资产？

47:34

【科技大佬访谈】黄仁勋与OpenAI联合创始人共话AI安全：Agent时代防御者该如何反击

01:26:49

【科技大佬访谈】奥特曼最新专访：OpenAI将披露更多AI安全事件与技术底线

35:40

【科技大佬访谈】黄仁勋深度对谈：AI不是魔法，我们该如何重构计算与管理智能

27:11

【科技大佬访谈】微软总裁Brad Smith：AI砸饭碗的恐慌，被科技大佬们夸大了

21:08

【科技大佬访谈】AI递归自我改进：当大模型开始自主推动科学发现

01:14:23

【科技大佬访谈】液态神经网络创始人：端侧大模型的未来，不是一味做大

01:47:38

【科技大佬访谈】Richard Socher谈AI递归自我提升：从自动化科研到超级智能

01:33:27

【科技大佬访谈】OpenAI核心科学家Noam Brown：当AI开始自我改进，智能体会走向何方

55:14

【科技大佬访谈】Perplexity创始人访谈：中小企业与AI智能体如何驱动下一轮增长

54:45

【科技大佬访谈】2026年特斯拉Roadster发布会：马斯克携火箭技术打造极致超跑

23:21

【科技大佬访谈】扎克伯格与Alexandr Wang：千亿级AI投资与Meta的超级智能路线

02:14:31

【科技大佬访谈】哈萨比斯剑桥演讲：AI如何从棋类博弈走向数字生物学

01:01:07

【科技大佬访谈】Palantir首席技术官专访：别被AI末日叙事带偏，关键在落地与现有监管

06:19

【科技大佬访谈】纳德拉谈管理与战略：同理心和那些惨痛学到的教训

31:12

【科技大佬访谈】2026年Sam Altman深度访谈：AI爆发的临界点与权力民主化

57:38

【科技大佬访谈】马斯克首谈 OpenAI 诉讼判决：这不仅是官司，更关乎慈善本质

26:01

【科技大佬访谈】谷歌2026 I/O全记录：哈萨比斯谈AI如何加速科学发现

01:51:16

【科技大佬访谈】皮查伊谈谷歌AI底牌：算力分配取舍与下一代交互形态

45:30

【科技大佬访谈】皮查伊谈 AI 下一步：Gemini 3.0 将如何重塑智能体企业

45:44

【科技大佬访谈】7个月打造Muse：Alexandr Wang谈扎克伯格招募与Meta个人AI智能体

01:12:17

【科技大佬访谈】马斯克深度对谈：AI富足时代、人形机器人工程难题与太空算力

01:03:10

【科技大佬访谈】2026最新：马斯克详解SpaceX业绩，星舰进展与AI算力新布局

01:02:23

【科技大佬访谈】哈萨比斯谈AI革命：机器计算越强，人类独特体验越不可替代

01:02:54

【科技大佬访谈】纳德拉对话黄仁勋：混合智能与下一代AI PC的未来

24:22

【科技大佬访谈】Anthropic创始人对谈：AI指数级增长背后的真实体感

33:11

【科技大佬访谈】英特尔前CEO基辛格深度对话：为什么现在是做硬件创新的最好时代

53:15

【科技大佬访谈】当AI智能体接管代码与基建，AWS打算怎么重构云服务

56:18

【科技大佬访谈】Meta超智能实验室负责人：AI下一步的爆发点，不在模型而在Agent协同

32:10

【科技大佬访谈】Palantir CEO Alex Karp最新对谈：AI时代企业如何守住核心数据主权

27:32

【科技大佬访谈】奥特曼专访：谈高管离职、商业化争议与AI的真正风险

49:29

【科技大佬访谈】纳德拉对话黄仁勋：AI Agent时代的端云协同与PC新架构

01:00:16

【科技大佬访谈】纳德拉谈微软最新财报：AI 资本开支、Azure 增长与智能体落地

01:08:31

【科技大佬访谈】皮查伊详解谷歌AI商业化落地与TPU算力扩张

01:03:53

【科技大佬访谈】谷歌AI基建负责人谈算力扩展：10万卡集群、光交换与电力瓶颈

01:04:27

【科技大佬访谈】2025年谷歌CEO皮查伊专访：AI投资泡沫、算力能源危机与未来走向

28:07

【科技大佬访谈】黄仁勋对话德国政要：AI时代德国制造如何打赢翻身仗

24:36

【科技大佬访谈】黄仁勋柏林峰会对话：电子永远无法替代原子，工业制造才是AI最大优势

56:56

顶部