原标题:Why AI Tokens are so Expensive - Computerphile
原作者:Computerphile
发布日期:2026-07-02
视频链接:https://www.youtube.com/watch?v=-0HRzXk8vlk
⭐ 想看英文原声?往下划,看分集原声双语字幕版~
AI订阅费用节节攀升,根源其实是很多人不熟悉的"词元"概念。视频从词元的定义讲起——它就是一个词或词的一部分——解释大语言模型如何通过分词器把文本拆成词元、再转成向量嵌入。最关键的是模型的自回归机制:每生成一个字,整个上下文都要重新过一遍GPU,哪怕有KV缓存也架不住上下文越滚越大。通过手工演算一个修bug的例子可以看到,一个简单请求就烧掉五六万词元,而编程智能体反复读文件、做工具调用,成本会失控式膨胀。
----------------------------------------------------------------
00:00:00 AI费用为何飙升
从GitHub Copilot等订阅费用的变化切入,引出"什么是词元"以及为何它如此昂贵的问题。
00:00:47 词元与分词器
解释词元就是一个词或词的一部分,分词器基于频率切分文本,并说明嵌入向量的概念。
00:04:24 自回归的低效
大语言模型每输出一个词元都要把全部上下文重新前向传播一遍,这正是成本高昂的根源。
00:08:03 KV缓存机制
KV缓存让已计算的中间表示不必重算,但缓存有存活时间,过期后就要重新预填充。
00:11:56 编程智能体的成本
通过手工演算修一个bug的过程,展示工具调用和读文件如何让词元消耗在几轮内滚到五万多。
00:19:13 真实案例与启示
用Copilot写星空屏保实测两百万输入词元,指出按词元计费转向不可避免,高效使用方式才是出路。