• 投稿

GPU是如何一步步计算Transformer中的自注意力机制的?

7.3万
128
2026-02-02 22:20:33
3679
1985
8661
539
GPU是如何一步步计算Transformer中的自注意力机制的?
向量之中,我见智能。
19.1万播放
简介
什么是KV Cache?为什么它能加快模型推理速度?
12:28
什么是PagedAttention?为什么它能提高GPU显存的使用效率?
13:02
GPU是如何一步步计算Transformer中的自注意力机制的?
19:44
什么是FlashAttention?为什么它能大大减少显存的需要并加快速速?
33:33
大模型中的数值格式:FP32、FP16、BF16、FP8、INT8、INT4是什么?
14:25
客服
顶部
赛事库 课堂 2021拜年纪