同样的架构,同样的训练方式,同样的数据来源。唯一变化的是规模。小模型做三步推理接近瞎猜,大模型突然就能做了。不是"做得更好了一点",而是之前完全不行,突然就行了。更多同样的东西,为什么会产生完全不同的东西?
本期内容:
1. Scaling Law:参数、数据、算力同时放大,整体误差平滑下降——但某些具体能力并不是平滑出现的
2. 多步推理、思维链、少样本学习:三种突然"开关式"出现的能力
3. 相变:水变成冰时,温度连续变化,状态却不连续跳变——冰的坚硬不属于任何一个水分子4. 信息论视角:涌现不是表面现象,而是新的信息模式被创造出来
5. 从参数到智能、神经元到意识、蚂蚁到群体智能、分子到生命——涌现不只属于AI
6. 密度之外,结构同样关键:同样的数据和规模,换一种架构,结果可能完全不同
信息不只是构成现实的东西。它还是创造新层级现实的过程。
订阅频道,和Neo一起探索信息与现实的底层结构!