翁家翌:OpenAI,GPT,强化学习,Infra,后训练,天授,tuixue,开源,CMU,清华|WhynotTV Podcast #4
【9】MHA、MQA、GQA各种注意力变种机制讲解
MHA、MQA、GQA 到底有什么区别?一期动画彻底讲透
【硬核】手撕RoPE旋转位置编码推导,嘎嘎简单,通俗易懂!
沉浸式手撕 LLM 系列:Softmax (面试题目,新鲜出炉,做了一点拓展,后面的还得撕一下online softmax)
【Attention】【MHA】9分钟从零基础到掌握注意力机制 原理&计算
90分钟手撸一个企业级的Agent多智能体(用LangGraph+MCP+RAG从0到1带你理解多智能体是怎么实现的)让你少走99%弯路!大模型面试必看!
01 手撕代码:MHA 多头注意力机制【思路】
复盘我的第一个Agent项目(RAG+FunctionCall)| 面试前的系统梳理
要成为大模型算法工程师,至少应该掌握哪些内容?来自一线算法工程师的建议
【手撕代码】Multi-Head Attention 多头注意力怎么写(接上期自注意力)
细节怪-手撕 LLM 之 Attention 复杂度计算(面试高频考题,逐步推导,你学会了嘛~)包含MHA,GQA
Attention图解注意力机制-MHA、GQA、MQA
手撕一个大模型看这个视频就够了【代码精读】
挑战30天八股!不要在八股上挂我啊 第⑦期 MHA 手撕 八股 大模型幻觉问题如何解决 长文本推理优化技术 位置编码手撕 Adam优化器和AdamW优化器的区别
【研1基本功 (真的很简单)注意力机制】手写多头注意力机制
【把手弄脏】手写 Group Query Attention,从 MHA -> MQA -> GQA,手把手实现
沉浸式手撕 LLM :RoPE (旋转位置编码)细节只有手撕了才知道!大模型算法工程师入门必学~
面试常见手撕mha、mqa、gqa
代码实战:手撕MHA+KV Cache