• 投稿

当伊蕾娜有了声音... 还能打 QQ 电话?!

2028
0
2026-10-02 21:45:57
含AI生成内容
398
30
211
10
astrbot,GPT-SoVITS,mimo,SenseVoice-Small,CAM++,混元 Hy-MT1.5-1.8B Q8_0,Laya 微调版,QQ,python,cuda 以上是涉及的模型和平台 本项目是实现云端astrbot配置低端的替换,以本地电脑为推理主力军实现语音通话和游戏陪伴,但所有的记录仍然会推至云端astrbot实现记忆和上下文。 目前实现了qq通话和本地模式 qq通话:无声纹识别,也没必要,主要用于在外通过语音聊天与伊蕾娜通话,模型文件可换为中文,但音色仅仅为相似。qq方面实现了自动点击接通按钮和日文翻译推送至官方机器人发消息,分开了消息和语音电话(因为非官方机器人逃避不了被封,每日活在紧绷的情绪下)所以把两者分开,模拟点击这种不会被封,故而使用此法。 本地模式:有声纹识别,分开室友和视频声音,让ai只认识你,有图片识别,让ai能读懂你的屏幕,暂时未能实现ai翻唱歌曲,因为需要各种音频的干唱,rvc做流程也可,但不是我的需求,所以不做考虑。关于识图因为会拖延速度,所以加了微调的laya用于判断是否需要识图。其余功能同上,翻译内容显示是在屏幕右上角,显示用户输入和ai中文输出。 因需要向云端astrbot请求,且要注入人格设定,故速度偏慢,如有需求其实也可以全部本地部署,ai模型使用高速token流,速度可以压缩到五秒内(包括识图)
日久怀家国,网天寄赤诚。于数字天地,守山河初心。
客服
顶部
赛事库 课堂 2021拜年纪