AI 唱歌不难,难的是唱得像她。 这一期我把三件事全塞进一台 8G 显存的笔记本:让机器唱、把伴奏拆开、再把嗓子换成小肥鱼的。
用到的工具如下,全部本地跑,没有一次云端调用:
ACE-Step 1.5:负责“唱”。作曲、编曲、人声一次生成,16 步、80 秒的歌 36 秒出。
Demucs(htdemucs):负责“拆”。把人声和鼓、贝斯、其他分成四轨,80 秒音频 10 秒跑完。
Seed-VC:负责“换”。零样本音色转换,把 ACE 的嗓子换成她的,80 秒约 42 秒。
GPT-SoVITS v2Pro:她的本音。旁白和说话都是它。
Z-Image Turbo:这一期的插图,本地图生图,一张 30 秒。
卡住的地方如下,这期九成时间花在这里:
咬字是最难的一关:一开始 18 个关键词 Whisper 只听对 4 个,基本是“音韵像中文、语义为零”。换成 16 步采样,加上 clear / crisp consonants 这组标签,再把 bpm 压到 70,命中 10 个。反常识的是,把歌词改短句,反而掉到 6 个,而且退化成“嗯……啊啊啊”。
Seed-VC 的参数很难兼顾:cfg 0.70 咬字最好(7/13),但音色只是“像”;拉到 0.90,音色几乎一样了,咬字却掉到 4/13,字全糊在一起。最后靠一条 20 秒的拼接参考音,加上 cfg 0.75,才两头兼顾。附带一条硬性要求:参考音 3~10 秒,短了不像,长了会跑。
接缝比想象的难:四段分别生成再拼起来,各段拆出的鼓、贝斯长度差几个采样,就会直接报维度错误;接缝处还会出现“前面 -45 dB 等于空了半秒”和“后面突然 +13 dB”两种情况。解法是统一截到最短再相加,加上 0.05~0.6 秒等功率交叉淡化,再把下一段鼓组提前铺进前一小节。
ACE 长音频会超时:150 秒的器乐生成要 5 到 12 分钟,脚本等不住会断,但服务端还在跑。应该用 /history 轮询,不能只等待。
母带前先测:上传那版峰值 +0.35 dBTP 已经削顶,还有四处 -25 到 -30 dB 的空洞。补洞,加 320 Hz 削 2.5 dB,再用 loudnorm 跑两遍,才到 -14 LUFS / -1.0 dBTP。
最后说句实话:不是她学会了唱。曲、调、气口全是 ACE 的,Seed-VC 只做了换声。这首歌是借她的嗓子唱出来的;但这句话本身,我觉得挺有意思。
下一期:让她自己写一首。
声明:本视频画面与声音均由 AI 生成,本地部署,非真人演唱。角色「小肥鱼」为原创形象。
标签:AI音乐 / ACE-Step / Seed-VC / Demucs / GPT-SoVITS / AI翻唱 / 音色克隆 / 本地部署 / 8G显存 / ComfyUI / AI唱歌 / 技术向
分区:科技 → 人工智能;必勾:AI 生成内容