• 投稿

斯坦福CS336第五课:详解GPU架构,性能优化

2.6万
16
2025-05-15 12:49:28
1238
267
2109
127
第五课介绍了GPU的工作原理以及如何针对其特性优化深度学习工作负载,特别是语言模型。 对比CPU和GPU的设计哲学与架构差异,并深入解析GPU的内部构造和工作模式,之后简要介绍了TPU。 接着介绍GPU性能优化技巧 (六大秘技) 之后讲性能曲线 最后用flash attention 1/2结尾。
17.7万播放
简介
【中英双语】斯坦福CS336:大模型从0到1|第一讲:概述和tokenization
01:19:00
【中英双语】斯坦福CS336:大模型从0到1|第二讲:pytorch手把手搭建LLM
01:19:22
斯坦福CS336:大模型从0到1|第四讲:详解MOE架构【中英双语】
01:22:00
斯坦福CS336第三课:详解现代LLM基础架构
01:26:58
斯坦福CS336第五课:详解GPU架构,性能优化
01:14:16
斯坦福CS336第六课:手写高性能算子
01:20:15
斯坦福CS336第七课:详解大模型并行化策略
01:24:32
斯坦福CS336第八课:手撕大模型并行训练
01:14:56
斯坦福CS336第九课:详解Scaling Law
01:05:12
斯坦福CS336第十课:详解模型推理
01:22:39
斯坦福CS336第十一课:如何用好Scaling Law
01:17:37
斯坦福CS336第十二课:模型评估详解
01:20:40
斯坦福CS336第十三课:训练数据策略
01:18:57
斯坦福CS336第十四课:实战数据过滤和去重
01:18:24
斯坦福CS336第十五课:详解SFT、RLHF
01:14:33
斯坦福CS336第十六课:详解大模型RL算法
01:20:35
斯坦福CS336第十七课:手把手讲解GRPO
01:15:44
客服
顶部
赛事库 课堂 2021拜年纪