• 投稿

《涌现》— 参数的史诗

58.6万
294
2026-10-04 12:39:45
含AI生成内容
6.3万
4297
2.1万
2759
宇宙里最残酷也最浪漫的规律,叫标度律(Scaling Law)。它不管你有多聪明,它只数你投入了多少筹码。 把一句话最后一个字遮住,让模型猜。猜得有多意外,就叫 loss。 从 2020 年 OpenAI 把这一现象写成公式开始:算力、数据、参数跨越七个数量级,所有的点落在同一条直线上。参数大十倍,loss 只降约 16%。很贵,但它从不失约。 奇怪的是,loss 平滑地降,能力却像是一夜之间冒出来的。有人列出过 137 种这样「突然出现」的能力。 斯坦福的人说:是尺子的问题。一道 5 位数加法只认全对,每一位的准确率从 50% 涨到 90%,整题得分就从 3% 跳到 59%。能力一直在长,是考卷让它看起来像奇迹。 还有个小模型,学钟表上的加法,卡了几万步,新题一道不会。实验多跑了几天,它突然全会了。打开一看,它早在内部把数字摆成了一个圆。 可这把尺子,我们很熟。 考卷只认全对。背单词、弹琴、向喜欢的人表白……在那些什么都没发生的日子里,世界给你的反馈都是零分。 但只要你还在前行,你的 loss 每天都在降。 某一天的清晨,你跨过了看不见的临界线,别人说你突然就会了。 只有你知道,那叫——涌现。 本视频使用Opus制作、每个人用AI的方式不同,我这里不是一句话生成。 在外站有几万人用Opus这类AI做视频, 两周前,在站外vibe知识大赏中,本账号一些视频就排在TOP列,在外站大家都知道使用Opus制作,不影响什么。 偶有时间,我同步发了一些放B站,当时是几百播放就没在意。按默认设置发布,比较随意,没有刻意点进去声明自制,没有声明使用AI。
用未曾见过的视听,讲未曾见过的故事。音乐与光影皆是引信,带你进入脑内宇宙。独立故事放映室 | Vibe知识大赏:用AI把知识拍成大片。
客服
顶部
赛事库 课堂 2021拜年纪