我原本只想用十五天做一个音乐 GPT Demo，却在处理音乐表示的第一步发现：Tokenization 并不只是“把数据切成 Token”，而是在决定哪些计算应当提前完成，哪些关系应当留给模型根据上下文判断。
视频从 MIDI 状态事件、组合 Token 与音乐坐标的几次尝试出发，引出一把统一的衡量尺度——Predictive Codelength（预测码长）。通过三个对照实验，视频尝试回答一个更一般的问题：
哪些计算可以安全地移到模型之前，哪些计算一旦提前固定，反而会损害预测？
这不仅是音乐生成中的接口问题，也关系到大模型如何表示信息、利用上下文，以及 Tokenization 究竟应该推进到哪里。
视频制作方法：
- 动画使用 Python 与 Manim 程序化制作。
- 旁白使用 Qwen3-TTS，基于作者本人录音进行声音克隆。
- 视频使用 FFmpeg 完成音画合成、字幕封装、变速与最终导出。
论文与代码
- Paper: How Far Should Tokenization Go? Predictive Effectiveness and Relational Losslessness(https://arxiv.org/abs/2608.18025)
- Code: github.com/kinssion/effectiveness-losslessness(https://github.com/kinssion/effectiveness-losslessness)
作者：Yi Wang / Kinssion
