ChatGPT、GPT-4、Claude、Gemini——地球上最强的 AI 全部基于同一个东西:Transformer。
这期视频用 30 分钟,围绕"翻译一句话"这一个任务,从头到尾拆解 Transformer 的每一个零件:Token 化、Embedding、位置编码、Self-Attention(Q/K/V)、Multi-Head、FFN、残差连接、Layer Norm、Encoder-Decoder、Masked Attention、Cross-Attention、自回归生成。
不跳步骤,不省细节。看完你就知道,ChatGPT 的心脏到底长什么样。
知识点:Transformer / Self-Attention / Q K V / Multi-Head Attention / 位置编码 / Encoder-Decoder / Masked Attention / Cross-Attention / BERT / GPT
过拟合青年 · 用过拟合的热情,做泛化的内容
基础技术系列硬核篇,建议收藏慢慢看!