《Attention is all you need》论文解读及Transformer架构详细介绍
有难度但必读的一篇论文《DeepSeekMath》
博客分享:从MHA、MQA、GQA到MLA
【完整版】硬核讲解:一个视频彻底了解大模型的原理,从输入层到输出层
【浙江大学-大模型原理与技术】1-0 序言
【GPU MODE】FlashAttention4工作原理 | How FlashAttention 4 Works
大模型量化一网打尽(一)理论基础
怎么加快大模型推理?10分钟学懂VLLM内部原理,KV Cache,PageAttention
【8】KV Cache 原理讲解
注意力机制的本质|Self-Attention|Transformer|QKV矩阵
从 LLM 到 Agent Skill,一期视频带你打通底层逻辑!
【12】LoRA、QLoRA 讲解
什么是PagedAttention?为什么它能提高GPU显存的使用效率?
DeepSeek-MOE原理讲解
【10】Sparse Attention & Infini Attention 稀疏注意力和无限注意力
【9】MHA、MQA、GQA各种注意力变种机制讲解
【5】手写 Train.py 大模型代码逻辑
【大模型推理】大模型推理 Prefill 和 Decoder 阶段详解
GPT发展简史【1】
[QKV attention] kv-cache、decoder only vs. BERT, 单向注意力 vs. 双向注意力