Windows 11 运行Qwen3.6-27B NVFP4，每秒 50 tok
新手小白，录制完才发现说了好多的“然后”，请见谅
1. wsl2配置，具体在用户目录的文件 .wslconfig
[wsl2]
memory=30GB
swap=64GB
swapFile=D:\\WSL\\wsl_swap.vhdx
networkingMode=NAT
localhostForwarding=true
2. 安装CUDA toolkit 13.1
具体搜索 cudatoolkit，根据wsl的版本信息安装
3. 安装VLLM
curl -LsSf https://astral.sh/uv/install.sh | sh # 安装uv
uv venv # 创建虚拟环境（自动用系统Python版本）
uv pip install vllm
4. 启动
OMP_NUM_THREADS=1 VLLM_ATTENTION_BACKEND=FLASHINFER vllm serve sakamakismile/Qwen3.6-27B-NVFP4 --served-model-name qwen-local --host 0.0.0.0 --port 8000 --max-model-len auto --gpu-memory-utilization 0.93 --kv-cache-dtype fp8_e4m3 --trust-remote-code --dtype auto --max-num-seqs 1 --language-model-only --enable-auto-tool-choice --tool-call-parser qwen3_coder
5. 限制显卡功率 (powershell 管理员）
nvidia-smi.exe -pl 500
请注意自己的网络环境，细节可以问AI，模型直接去huggingface上面搜索就可以
