写的代码质量一般,参考参考即可:
指路:https://github.com/SoraKuAI/cosyvoice3-openai-server
支持50系显卡推理,但要注意版本信息,不要太高,也不要太低:
torch==2.7.0+cu128
torchaudio==2.7.0+cu128
transformers==4.51.3
vllm==0.9.2
x-transformers==2.11.24
xformers==0.0.30
numpy==1.26.4
pydantic==2.12.4
pydantic-extra-types==2.10.6
pydantic_core==2.41.5
gradio==6.1.0
gradio_client==2.0.1
huggingface-hub==0.36.0