这几天被一个赛博女友的视频种草了,于是就想看看看能不能复刻一个版本。
整体方案核心流程
用户对话,接入hermes,生成回复,接tts(文生音频),音频转唇型,然后播放。
其实思路很简单,我在唇型上耗时比较久,这里挑选了很多本地方案,最终选择的还是flashtalk的4090版。
这个我觉得也是赛博女友视频的影像,因为如果想流利实时的播放,至少需要8张H800….这我哪有….而其他情况单卡只能非实时.
于是我用了4090量化版本,同时因为我是单一角色,模型再用codex做了针对性处理,这样子从而可以减少我的运行需要的显存大概4个G。
视频里看的流畅,实际上中间的生成过程我剪掉了,每次对话生成视频要2-3分钟,也比云端快,不过云端一次要2-5块钱,本地不要钱…
只能说…个人家庭做到效果好的实时对话还是有点难。
flashhead pro的模型效果又没那么好…
综合看还是flashtalk好一些…