2022 年 1 月，OpenAI 的研究员在训练一个小模型做模运算。
按惯例，模型一过拟合就该停止训练——但有人去休假，忘了关。
几千步后，模型突然学会了。
这期视频讲清楚三件事：
· 这个叫 grokking（顿悟）的现象到底怎么发生的
· 模型在那一刻学会了什么（剧透：它自己发明了一套用三角函数做加法的算法）
· 为什么那个"突然"其实一点也不突然
视频里所有曲线和图都是我自己跑出来的（RTX 4090，约 70 秒一次训练）。
参考文献：
· Power et al., Grokking, arXiv:2201.02177
· Nanda et al., Progress measures for grokking, arXiv:2301.05217
· Liu et al., Omnigrok, arXiv:2210.01117
· Quanta Magazine, How Do Machines 'Grok' Data?
结构参考 Welch Labs《The most complex model we actually understand》
