千呼万唤，DeepSeek V4 终于来了。
最醒目的不是参数也不是跑分，是三个数字：一百万 token 上下文、单 token 推理只要 V3.2 的 27% 算力、KV cache 只要 10%。对业界常用的 BF16 GQA8 基线，这个数字甚至能降到 2%。
V4 在做的不是「更大一号」，而是把百万 token 上下文从「实验室里能跑」变成「真实工作流里用得起」。
这期我们拆 V4 的两把效率刀和两个稳定器：
CSA（压缩稀疏注意力）—— 先压缩再 top-k 精挑（V4 原创，建立在 V3.2 的 DSA 之上）
HCA（重度压缩注意力）—— 更狠的压缩 + 层间分工（V4 原创）
mHC（流形约束超连接）—— 双随机矩阵 · 谱范数 ≤ 1（基于字节跳动 Seed 团队 2024 年 Hyper-Connections 论文 arXiv:2409.19606 的工程化改进）
Muon 优化器 —— Newton-Schulz 正交化（Keller Jordan 等 2024 年开源，Kimi Moonlight 验证大规模可行，V4 采用）
所有技术点都服务一个问题:为什么百万上下文这件事,突然变得经济上可行。
本期所有数字都是 DeepSeek V4 技术报告自评,我按论文说法标注。 几个关键边界: ① 10% 是对 V3.2、2% 是对业界常用 BF16 GQA8 基线,不同基线不能混着说 ② 推理 FLOPs / KV cache 估算 ≠ 实际 API 价格 ③ paper 内部代码 agent 评测接近 Opus 4.5,不代表全 benchmark 第一 ④ MRCR 长记忆测试上,V4 仍落后 Claude Opus 4.6 ⑤ mHC 基于字节跳动 Hyper-Connections 框架,Muon 来自开源社区——V4 是改进者/采用者,不是这两项的原始发明人
论文原文:https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/tree/main
主要来源
DeepSeek-AI (2026). DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence (Preview). 技术报告。
权重:https://huggingface.co/collections/deepseek-ai/deepseek-v4
推理代码:https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/tree/main/inference
DeepSeek-AI (2025). DeepSeek-V3 Technical Report. arXiv:2412.19437 — V4 的架构基线。
DeepSeek-AI (2025). DeepSeek-V3.2: A Sparse-Attention Experimental Version. arXiv 预印本 — V4 效率基线。
Zhu, D. et al. (ByteDance Seed, 2024). Hyper-Connections. arXiv:2409.19606,ICLR 2025 — mHC 的底层框架。
Jordan, K. et al. (2024). Muon: An optimizer for hidden layers in neural networks. https://kellerjordan.github.io/posts/muon/ — Muon 优化器原始提出。
Moonshot AI (2025). Muon is Scalable for LLM Training (Moonlight). arXiv:2502.16982 — Muon 在大规模 LLM 训练上的首次验证。
TTS 引擎:豆包
动画:Manim Community v0.19
致谢
感谢 DeepSeek 团队开源权重与技术报告。本期所有技术细节以论文为准,benchmark 数字为 paper 自评。也感谢评论区 @雲葉ちゃん 提醒纠正了简介中关于 mHC 和 Muon 归属的表述,让内容更准确。
