只有 0.1B参数，却能听、能看、能说话？MiniMind系列第三弹 MiniMind-O 来了——单卡RTX 3090仅需约2小时，就能从零训练一个完整的全模态Omni模型！
📌 本期看点：
拒绝级联流水线：不是ASR→LLM→TTS的三段式拼接，而是Thinker+Talker双路径端到端架构，语音和文本在hidden state层面直接连通，延迟更低、信息无损。
中间层Bridge设计：Thinker不向Talker传embedding（太浅）也不传最后一层（被LM head带偏），而是取中间层隐藏状态作为语义桥梁，语音一致性（CER）显著更优。
Mimi八码本流式语音：Talker通过MTP同时预测8层Mimi audio codes，支持24kHz流式语音输出，边生成边播放，还能实时打断（Barge-in）。
In-Context音色克隆：不用微调权重，换一段参考音频即可切换音色，内置5种预设音色，支持unseen语音克隆。
视觉也打通了：冻结SigLIP2编码图像，SenseVoice编码语音，全部通过轻量MLP Projector注入同一序列，真正实现"看图说话"。
📊 硬核数据：
可训练参数仅 113M（Dense）/ 315M-A115M（MoE）
单卡3090，mini数据集 约2小时 跑通完整链路
英文短句CER低至 0.053，与0.5B的Mini-Omni2同量级
📄 论文：MiniMind-O Technical Report: An Open Small-Scale Speech-Native Omni Model
arXiv 主页：https://arxiv.org/abs/2605.03937
PDF 直链：https://arxiv.org/pdf/2605.03937
💻 开源代码：https://github.com/jingyaogong/minimind-o
