• 投稿

【Proof-Trivial】数学视角下的Transformer【MIT数学系-Philippe Rigollett】

2.8万
6
2024-07-08 04:51:38
1354
407
4132
430
这篇论文来自MIT数学系,作者将Transformer视为一个连续时间的动力系统,模型的层级被视为时间变量。在这个框架下,Self-Attention和Layer Normalization是关键的部分 核心的发现是,随着时间的推移,模型中的元素(或称为粒子)会趋于聚集形成集群。这一集群现象在高维空间中尤为显著,并且与模型的学习能力密切相关。例如,在预测下一个词的任务中,集群现象表明模型可能趋向于预测少数几种可能性,而不是展现多样性......
Learning, Optimization, Statistics, Geometry
视频选集
(1/2)
Philippe Rigollett本人讲解
44:02
UCL助理教授Haitham讲解
21:02
客服
顶部
赛事库 课堂 2021拜年纪