Dream-RSI: Recursive Self-Improvement through Evolving Worlds
https://arxiv.org/abs/2609.14858
1. 论文核心: Dream-RSI 是谷歌与谷歌 DeepMind 团队的 arXiv 预印本，把已经跑完的发现历史冻结成可回放的模拟器，让探索策略先在历史里离线比试，再派最强的一个回到真实发现。
2. 要解决的问题: 科学发现类智能体要跑几千轮生成与评估，探索策略决定算力花在哪；固定策略不会从经验里长进，在线优化策略又要在真实环境里反复试错，反馈又慢又贵。
3. 核心机制: 发现树完整记录了每次尝试的代码、诊断和分数，换一个探索策略在这棵树上重走一遍，只需读取记录，不用重跑模型和评测，一次昂贵的在线探索就能支撑大量接近零成本的策略评估。
4. 三段闭环: 在线探索产出发现树，发现树冻结成回放世界并入世界池，策略开发智能体在世界池里做梦式地改写和评估策略代码，选拔出的最优版本回到在线探索，循环往复。
5. 回放怎么打分: 综合三件事，揭露子树里的最高分解质量，减去按揭露节点数计的执行成本，再加上按每轮平均尝试数计的并行奖励；因为当前策略也在候选集里，新策略在历史回放分上单调不退化。
6. 实验结果: 在 Lasso 求解器任务上，调用次数比已有强基线最多省 162 倍且平均运行时间更低；数学发现任务在不到一千次生成内追平或超过对比系统；GPU kernel 任务上达到同等性能少花最多 2.43 倍生成次数。
7. 发现的求解器: 在 Lasso 任务里，系统发现的求解器在活跃集优化内部做自适应剪枝，只有界证明不了特征无效时才重算精确梯度，在六个留出数据集上全面快过 sklearn 和 glmnet。
8. 一个反直觉发现: 把历史提炼成文字指导注入提示词反而一致拖累表现，强语义偏置会过度约束搜索；历史当可回放的模拟器，比历史当文字建议更有用。
9. 策略会自适应: 在 ConvDiv 任务上，学到的策略在性能上升期主动收缩探索开销，进展停滞时再加大投入，并对应新一轮性能提升。
10. 边界: 回放只能重排、剪枝、改并行，不能凭空知道未探索区域的结果，所以系统必须周期性回到真实在线探索扩充历史；单调不退化的保证也只针对历史回放分，不承诺未来在线表现。
