首页

投稿

37M小模型逻辑推理反超24倍巨量架构：T2定律揭秘测试时缩放如何重塑算力平衡

2918

0

2026-04-11 11:55:09

未经作者授权，禁止转载

传统Chinchilla定律忽视了推理端的采样成本，导致大模型在复杂任务中的部署开销巨大。本研究提出T2（Train-to-Test）缩放定律，首次将模型参数量、训练数据量与推理采样次数纳入统一优化框架。通过对百余个5M至901M参数模型的实验验证，发现在总算力预算固定时，减小模型体积并进行“超额训练”能获得更优的推理性能。实验证明，37M小模型在推理算力重分配后，逻辑推理准确率提升显著，性能反超参数量达24倍的传统架构。该定律为低延迟、高精度模型的高效部署提供了关键的数学指南。

Agent创世纪发消息

只讲真正改变范式的前沿研究：Agent、记忆、具身智能、多模态与生成式AI，脑与认知启发，AI医学/数学/物理/化学，AI硬件

终结Transformer与RNN的效率悖论：M²RNN通过矩阵维度扩张，让大规模语言模型在长序列中拥有百分百检索力

10:37

重塑Transformer底层逻辑：仅需增加极简门控层，即可在3.5万亿数据规模下显著提效

06:04

伯克利联手NVIDIA发布V1：通过成对比较统一生成与验证，破解大模型并行推理瓶颈

07:19

谷歌 DeepMind 发布 TurboQuant：在毫秒级在线场景中，实现逼近香农下界的极致向量压缩

09:34

剖析Transformer架构的隐秘角落：NYU揭示大模型激增激活与注意力陷阱的独立起源与演化机制

09:07

终结Transformer效率与质量的悖论：Mamba-3重塑状态空间法则，实现序列建模能力的代际进化

08:21

终结Transformer复杂度噩梦：FALCON通过O(1)推理机制，重构大模型的长文本记忆范式

09:30

告别Transformer固定堆叠惯性：月之暗面发布Attention Residuals，让大模型深层网络实现按需读取

08:22

终结 MoE 架构的零和博弈：RFMoE 凭借去中心化范式，在提升模型精度的同时大幅释放吞吐量

08:17

借鉴果蝇大脑记忆重塑机制：SyCo 框架攻克大模型在未知环境下灾难性遗忘的行业难题

09:17

清华交大重磅研究：强化学习并未让模型变聪明，只是提高了“撞大运”的采样效率

09:51

解开图神经网络思维黑盒：MINAR工具箱实现神经元级解析，精准锁定AI推理的核心电路

09:24

突破Transformer计算瓶颈：引入2D注意力机制，让神经网络实现指数级加速的程序执行

08:27

数学能力暴涨 25.7%！新框架让大模型学会“默读”隐式推理

11:57

超人类金牌线！MiniMax联合清北用M3模型攻克奥数零容错证明

11:47

揭开顶级推理模型变聪明的秘密，新研究精准定位了10%的黄金词元

11:51

用0.07B参数打赢大规模任务：UIUC等团队发布ReMix，让小体量微调爆发更高精度

09:48

苹果发布SRLM框架：利用模型“自知之明”破解百万字长文迷失，让AI在深层阅读中学会自我纠错

08:17

像大模型一样直接处理表格：TabPFN 凭 2D 架构实现开箱即用，精度碾压主流算法

10:16

让AI玩24点竟然学会了写代码，上海AI实验室将数学竞赛准确率提升51.3%

09:12

怎样测出AI是真有逻辑还是在背题？科学界用SuperARC压缩率指标给大模型卸妆

10:52

MIT发布KV压缩新技术：推理提速百倍，将数小时的任务缩短至秒级

18:00

佛蒙特大学等揭秘AI大脑：MetaOthello实现98%预测精度，在单一网络管理多套冲突规则

08:59

解决AI推理计算爆炸：阿尔托大学新架构实现20倍提速与7倍显存优化

09:35

37M小模型逻辑推理反超24倍巨量架构：T2定律揭秘测试时缩放如何重塑算力平衡

10:20

Meta AI 刷新端侧体验：MobileLLM-Flash 攻克 4 秒首字响应瓶颈，实现手机端大模型秒开

10:15

引入现代Hopfield能量检索机制：RwF通过单步联想检索，在严苛的在线学习场景下刷新性能上限

09:45

GQE 破局长上下文瓶颈：保持内存优势并将注意力计算直接砍半

09:24

让大模型在极低显存下深度推理，哈佛康奈尔联手实现 32 倍极致压缩，发布 Breadcrumbs 架构

07:59

DeepMind揭秘AI到底懂不懂自己：在开口前已算好置信度，Gemma 3证实潜意识缓存存在

07:27

SAA UJU 团队拆解 AI 推理黑盒：仅需 2 个注意力头协作，逻辑识别准确率即刻飙升至 100%

08:53

新加坡国立大学发布 DMax 架构：打破“快就出错”魔咒，实现高精度文本并行生成新突破

07:42

AI编程不再死脑筋：Multi-Answer RL 让正确解数量翻倍

09:16

撕开大模型高分假象：NUS 推出 X-RAY 探针测量推理真实成色

07:39

AI终于能像人类一样“看懂”整体，宾大揭秘DINOv2自发涌现物体绑定能力，准确率突破九成

09:35

揭秘AI为什么会突然“顿悟”？微软联合KAIST揭开大模型自我纠错的信息论黑盒

09:26

让AI读长文本省下八成成本，全新PEEK缓存用千级Token建立永久记忆

09:28

如何极低成本部署百万个专属AI？新研究用Rank16黄金甜点区破除显存瓶颈

11:19

单张显卡预训练百亿模型，吞吐量提升 8 倍，港科大与华为发布 POET-X 架构

10:16

10倍级内存压缩：MIT与英伟达联合发布TriAttention，让消费级显卡支撑数万Token长推理

08:42

让 AI 在极度“偏科”的数据中进化：北交大等团队将异构数据准确率提升 41.7%

09:09

Meta 揭秘大模型“中段失忆”真相：并非训练导致，而是架构层面的阶乘级几何抑制

09:23

普林斯顿联手微软登Nature：18维量表精准拆解大模型，DeLeAn算法终结跑分乱象

08:35

GQE 破局长上下文瓶颈：保持内存优势并将注意力计算直接砍半

09:24

顶部