vLLM 昨晚发布了 v0.20.0,这一版动静真不小,与其说是版本更新,不如说是把推理引擎的天花板又往上顶了一截。
先看几个最硬的点。
第一,DeepSeek V4 首日支持,国内做大模型部署的朋友这条最关心,新模型刚出,vLLM 这边初始化就跟上了。
第二,CUDA 13 成为默认,PyTorch 升到 2.11,Python 3.14 也进了官方支持列表,老环境直接 pip install 大概率翻车。
第三,FlashAttention 4 重新成为 MLA prefill 默认后端,跑 DeepSeek 这类架构会有肉眼可见的提速。
第四,TurboQuant 2-bit KV cache,等效容量翻 4 倍,长上下文场景下,这就是降维打击。
第五,在线量化前端落地,以后跑量化模型不用提前折腾权重,加载阶段就给你量化好。
要不要升?跑 DeepSeek V4、Hunyuan v3 这些新模型,直接上;生产环境稳定的 v0.19,等 0.20.1 出来再说。
折腾一次环境,换未来半年的部署红利