https://www.youtube.com/watch?v=_87vrjxx1EE
---
来源 YouTube 频道：Prompt Engineering
---
c5b17b47-1040-496f-9144-4147bed1c921
---
NCM: The End of LLMs? Not So Fast (Local Tests)
斯坦福NCM模型实测：单用户快4倍，并发反被自回归碾压？
---
本视频深入测试了斯坦福Hazy Research提出的Next Concept Modeling (NCM) 架构。作者指出论文宣称的31倍速度优势是基于与扩散模型的对比，而非传统自回归LLM。通过DGX Spark实测，NCM在单请求下因显存带宽瓶颈提速约4倍，但在64并发请求时因计算量增加反而慢4-8倍。此外，作者复现数独任务发现，采用“最自信优先”策略的普通扩散模型即可达到NCM的86%准确率，质疑其架构独特性。
---
NCM（Next Concept Modeling）由斯坦福提出，核心机制是将文本生成转化为分层压缩过程。模型使用约4000个习得代码作为“概念”，自上而下逐层预测，顶层仅少量编码，底层对应具体词汇。这种类似图像扩散但结构不同的设计，使其在单次请求中只需9至11次前向传播即可完成生成，避免了传统自回归模型逐词生成的串行延迟。
在单张H100显卡的单请求测试中，NCM因减少内存加载次数而比扩散模型快得多；但在DGX Spark上对比同规模自回归LLM时，单请求提速约4倍，这主要得益于GPU在低负载时受限于显存带宽而非算力。然而，当并发请求增至64个时，结果发生逆转：NCM因需处理约四倍于生成字数的位置且每轮重跑完整提示词，导致计算负担加重，速度反而比自回归模型慢4至8倍，不适合高并发Agent场景。
针对论文声称的86%高难度数独解决率，作者训练了同等规模的扩散模型进行复现。常规随机填充策略下仅解决25%，但当引入Kim等人提出的“最自信优先解码”策略后，普通扩散模型同样达到了86%的准确率。这一结果表明，NCM在数独任务上的优异表现并非源于其独特的分层架构优势，而是得益于更高效的解码策略，且NCM在长文本生成和并发服务中存在明显的工程限制。
