首页

投稿

【一句话穿过大模型】为什么 Attention 需要多个“头”？

53

0

2026-10-15 17:28:23

一次 Attention 只能把权重押在一种关系上。多头注意力拆成几个头，各用一组更短的 Q/K/V 问自己的问题，再拼回一条。

多头注意力

成富_Alex 发消息

全栈工程师 / 架构师 / 技术内容创作者 / 非畅销书作者

一句话穿过大模型：从发送到回答

01:56

Tokenizer：文字怎么变成 Token？

04:50

BPE：Tokenizer 怎么学会切词？

04:17

【一句话穿过大模型】Token 边界会带来什么代价？

03:31

【一句话穿过大模型】Token ID 怎么变成 Embedding？

04:32

【一句话穿过大模型】Embedding 空间里，什么叫“近”？

04:33

【一句话穿过大模型】一个词怎么决定该看谁？

05:52

【一句话穿过大模型】为什么 Attention 需要多个“头”？

03:21

【一句话穿过大模型】为什么模型只能往左看？

03:43

【一句话穿过大模型】模型怎么知道词的顺序？

03:48

【一句话穿过大模型】一层 Transformer 里有什么？

03:19

【一句话穿过大模型】知识到底存在哪里？

03:37

【一句话穿过大模型】Transformer 为什么能一层层堆起来？

03:10

【一句话穿过大模型】同一个问题为什么会得到不同答案？

04:13

【一句话穿过大模型】长上下文为什么这么贵？

03:54

【一句话穿过大模型】这些参数是怎么学出来的？

02:56

【一句话穿过大模型】一句话怎么一个 Token 一个 Token 长出来？

03:38

顶部