大模型到底是不是“大力出奇迹”？
上一集我们讲了 The Bitter Lesson：人类专家知识一旦被写成固定规则，就可能从帮助变成上限。
但问题来了：如果 AI 不是简单的大力出奇迹，为什么今天的大模型又这么像“大力出奇迹”？
参数更多、数据更多、算力更多，模型能力确实在提升。
这背后到底是规模的魔法，还是一种更深的可扩展学习机制？
这一集，我们从大模型的 prior、next-token prediction、scaling law、Kaplan scaling law、Chinchilla compute-optimal training，一直讲到今天越来越重要的 inference-time scaling。
这期的核心判断是：
规模当然重要。
但规模只会放大那些能吸收规模的方法。
大模型不是没有先验。
Transformer、attention、tokenization、next-token prediction，都是很强的先验。
真正发生变化的是：先验从人类概念层面的规则，转移到了更抽象、更可扩展的架构、目标和训练机制里。
这也是 The Bitter Lesson 在大模型时代的新版本。
专家不会消失。
但专家的位置正在变化：
从写规则，到设计系统。
从给答案，到设计让模型学会答案的环境。
从模型看智能，从智能看时代。
我们不只看 AI 做了什么，更要看它为什么会这样做。
本期章节：
00:00 这不就是大力出奇迹吗？
00:55 规模不能拯救错误模型
02:00 大模型当然有 prior
03:35 Next-token prediction 为什么能学出复杂能力？
05:10 Scaling Law：从 Kaplan 到 Chinchilla
07:15 从训练时 scaling 到推理时 scaling
08:45 人类知识应该放在哪里？
10:15 下一个十年，最稀缺的能力是什么？
参考资料：
Richard Sutton, The Bitter Lesson
Kaplan et al., Scaling Laws for Neural Language Models
Hoffmann et al., Training Compute-Optimal Large Language Models
Schaeffer et al., Are Emergent Abilities of Large Language Models a Mirage?
相关关键词：
The Bitter Lesson
Richard Sutton
Scaling Law
Kaplan Scaling Law
Chinchilla
大模型
Transformer
Next-token prediction
Inference-time scaling
Reasoning model
Agent
Tool use
RL
Trajectory data
人工智能
机器学习
深度学习
#AI #人工智能 #大模型 #TheBitterLesson #ScalingLaw #Transformer #机器学习 #深度学习 #AGI
