AI 当年数不清 strawberry 里有几个 r,现在却数对了。背后是同一个事实:模型读到的从来不是字母,是被切成 token、再编码成一串数字的编号。
这期借斯坦福 CS336 第一讲,几分钟讲清 tokenization 和 encoding 到底在干什么;再顺手回答一个你天天在付、却不知道为什么的问题:为什么你用中文跟 AI 聊天,比英文更费 token。结论有点反直觉:贵的从来不是中文,是分词器还没学够中文。
参考:Stanford CS336 Lecture 1(Percy Liang & Tatsunori Hashimoto)· Karpathy《Let's build the GPT Tokenizer》论文 arXiv:2604.14210 / 2604.00778 / 2206.02608 / 2305.15425