• 投稿

为什么你用中文跟 AI 聊天更费钱 之 Tokenization【斯坦福 CS336】

1635
0
2026-07-01 20:00:00
29
2
24
分享
AI 当年数不清 strawberry 里有几个 r,现在却数对了。背后是同一个事实:模型读到的从来不是字母,是被切成 token、再编码成一串数字的编号。 这期借斯坦福 CS336 第一讲,几分钟讲清 tokenization 和 encoding 到底在干什么;再顺手回答一个你天天在付、却不知道为什么的问题:为什么你用中文跟 AI 聊天,比英文更费 token。结论有点反直觉:贵的从来不是中文,是分词器还没学够中文。 参考:Stanford CS336 Lecture 1(Percy Liang & Tatsunori Hashimoto)· Karpathy《Let's build the GPT Tokenizer》论文 arXiv:2604.14210 / 2604.00778 / 2206.02608 / 2305.15425
每天5-10分钟看懂AI动向,精选播客与演讲,追踪模型、产品和Agent生态。
大模型相关
(6/7)
4万播放
简介
为什么大模型架构越来越像?【斯坦福 CS336】
05:10
新模型来了,旧模型怎么办?【播客精选】
06:18
DeepSeek 为什么这么便宜之 KV Cache【斯坦福 CS336】
04:31
杨立昆、李飞飞都在说的世界模型是什么
08:02
无限进步!Claude 下一步是造更强的自己 | AI 自我进化是什么
08:37
为什么你用中文跟 AI 聊天更费钱 之 Tokenization【斯坦福 CS336】
04:11
AI 越做越大,为什么反而越来越便宜| MoE【斯坦福 CS336】
08:47
客服
顶部
赛事库 课堂 2021拜年纪