项目网址:
https://github.com/ztxz16/fastllm
希望大家给个star!很快会发布Linux一键部署包,windows一键部署包
安装:
pip install ftllm
启动:
ftllm
(目前只有linux)
模型网址:
FP8版本:
https://modelscope.cn/models/Qwen/Qwen3.8-27B-FP8
NVFP4版本:
https://modelscope.cn/models/QUASAR-QAT/Qwen3.8-27B-QUASAR-NVFP4
DFlash2模块:
https://modelscope.cn/models/z-lab/Qwen3.8-27B-DFlash2