首页

投稿

【MSST】分离说话人声和带人声BGM，以及测试

Name: 【MSST】分离说话人声和带人声BGM，以及测试
Uploaded: 2026-04-16T10:00:00.000Z
Duration: 4 min 47 s
Channel: 领航员未鸟

1.4万

2026-04-16 18:00:00

未经作者授权，禁止转载

总之就是最近闲暇时候因为游戏荒了，所以练着玩的模型，实际上你们可以发现音质损失还是有的。其实还有很多不甚满意的地方，而且我觉得应该还有提升空间，不过鉴于我已经烧了100卡时了加上估计暂时没空了，所以就先发出来吧。其实训练MSST模型还是挺好玩的，感兴趣的话很推荐试试，现在开use_torch_checkpoint和flash_attn的话即使是十几G显存的显卡也可以练，不像早期非得A100起步，成本也不算是高了。模型安装方式：下载并替换model_config_zh.json→使用新的模型→根据弹窗提示从网盘下载所需配置文件和模型并放置到位，也可参见：BV197njzqExb ＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝ ◆ 260415模型扩充主要更新如下： **请注意本回更新的模型是我在休息时间练着玩的，无论是数据数量质量还是训练调参都挺随便的，建议谨慎用于生产环境（以及概不负责）** 1.添加其他模型speech_bs_roformer_AliceN_sdr_20.4440.ckpt，可以将说话人声从带人声的BGM中分离出来，较为稳定。 2.添加其他模型speech_mel_roformer_AliceN_sdr_16.5716.ckpt，可以将说话人声从带人声的BGM中分离出来，不太稳定，但在我很多测试样本中SDR更高。注1：由于训练素材中没有纯静音片段，所以当有说话人完全静音长度大于chunk_size（默认20s）且同时播放含有人声BGM，该人声可能会泄漏进来。 * 换个比较好理解的情况就是直接推一首歌，根本没人说话的，它不会输出纯静音，尽管理想状况它就应该输出纯静音。注2：你也可以将该模型接在人声模型后面，即同时启用人声模块和其他模块，绝大多数情况下这会略微提高SDR，但会大幅增加推理开销。注3：因为太想要吐槽了我必须写在这里，谨慎使用mel那个模型，他的出现我完全无法复现，而且下一个ep就嘎巴一下似了，偏偏效果又很好，只能归结于机魂大悦。该模型我也丢到抱抱脸上了：https://huggingface.co/AliceN/Roformer-SpeechSep ＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝项目开源地址：https://github.com/AliceNavigator/Music-Source-Separation-Training-GUI 如果你觉得这个项目不错的话，给个小星星吧！下载链接：https://pan.baidu.com/s/1gLO9U5jcfrtO3WJmAAyo1Q?pwd=u3r2 提取码: u3r2 解压密码……我好像忘记放了，不过反正只有本体整合包需要，以防万一放在这里：领航员未鸟

鸽子一只，兴趣使然，轻度社恐，没有群，不是V。

【教程】Sovits4.1