宇宙里最残酷也最浪漫的规律,叫标度律(Scaling Law)。它不管你有多聪明,它只数你投入了多少筹码。
把一句话最后一个字遮住,让模型猜。猜得有多意外,就叫 loss。
从 2020 年 OpenAI 把这一现象写成公式开始:算力、数据、参数跨越七个数量级,所有的点落在同一条直线上。参数大十倍,loss 只降约 16%。很贵,但它从不失约。
奇怪的是,loss 平滑地降,能力却像是一夜之间冒出来的。有人列出过 137 种这样「突然出现」的能力。
斯坦福的人说:是尺子的问题。一道 5 位数加法只认全对,每一位的准确率从 50% 涨到 90%,整题得分就从 3% 跳到 59%。能力一直在长,是考卷让它看起来像奇迹。
还有个小模型,学钟表上的加法,卡了几万步,新题一道不会。实验多跑了几天,它突然全会了。打开一看,它早在内部把数字摆成了一个圆。
可这把尺子,我们很熟。
考卷只认全对。背单词、弹琴、向喜欢的人表白……在那些什么都没发生的日子里,世界给你的反馈都是零分。
但只要你还在前行,你的 loss 每天都在降。
某一天的清晨,你跨过了看不见的临界线,别人说你突然就会了。
只有你知道,那叫——涌现。
本视频使用Opus制作、每个人用AI的方式不同,我这里不是一句话生成。
在外站有几万人用Opus这类AI做视频, 两周前,在站外vibe知识大赏中,本账号一些视频就排在TOP列,在外站大家都知道使用Opus制作,不影响什么。
偶有时间,我同步发了一些放B站,当时是几百播放就没在意。按默认设置发布,比较随意,没有刻意点进去声明自制,没有声明使用AI。