What if automating AI R&D triggers an intelligence explosion?
https://arxiv.org/abs/2609.36054
1. 论文主旨。What if automating AI R&D triggers an intelligence explosion? 汇总 AI 研发自动化的证据,分析它会不会形成软件驱动的加速循环,并讨论潜在影响和政策准备。
2. 自进化进展。论文引用 Anthropic 内部报告,称高层监督下由 AI 自主完成的内部 AI 研发工作比例从 2026 年 3 月的 1% 上升到 8 月的 26%。
3. 研发范围。AI 研发包括选题、提出假设、设计实验、改进训练方法、分析结果和决定下一步。
4. 反馈机制。AI 研发系统能力提高后,可以承担更多研究工作;它们产出的软件改进又可能让下一代 AI 做得更多、更快,进而扩大有效研发劳动力。
5. 关键条件。研究投入回报率 r 用来比较新增研发劳动力带来的进步与研究回报递减。r 高于 1 时,反馈有机会带动持续加速,其他限制仍可能阻断循环。
6. 条件推演。若 AI 研发全面自动化、r 维持在历史估计区间且算力、数据和实验时间没有构成瓶颈,模型估算约 1.5 年后进步速度提高十倍,一年进展可压缩到五周左右。这不是已经观测到的结果。
7. 劳动力估算。补充材料按当前推理算力和 AI 研发基准中的 token 产量估算出约 200 万至 2 亿个等效研究者,中心值约 2000 万。这个数字依赖运行成本和工作量代理假设,不能代表已有 AI 研究员数量或等量产出。
8. 现实限制。科研回报递减、计算资源、数据供应、难自动化的工作和长时间训练都可能减慢反馈。历史 r 估计也受到算力增长、样本范围和模型外推能力的影响。
9. 潜在影响与准备。加速可能提前带来科学和医疗收益,也可能压缩社会应对网络、生物、就业和失控风险的时间。作者建议加强内部研发透明度、准备监督与暂停办法,并预先建设社会应急能力。
10. 系列位置。Dream-RSI 和 MetaRSI 讨论具体系统怎样迭代,The Last AI Built by Humans 梳理 RSI 的判别框架。本篇转向整体 AI 研发自动化的规模、加速条件和公共政策。