Token 到底是什么？—— 揭秘大模型背后的“文字压缩术” #token #tokenizer #llm #ai #chatgpt #bpe #contextwindow #transformers
📌 本视频带你彻底搞懂大模型中最基础但也最易被忽略的概念：Token 与 Tokenizer，你将学到：
- 为什么 40 万 Context Window 不等于 40 万个字？
- Tokenizer 如何把人类文字变成机器能懂的数字
- BPE 算法全演示：看机器如何通过“找规律”合并字符（训练过程）
- 1 个 Token 到底等于多少字？掌握最实用的换算公式
⏱ 时间轴：
00:00 视频内容简介
00:37 大模型的基本工作原理
03:06 Tokenizer的训练过程
07:42 Tokenizer的使用过程
09:27 Token与字数的换算关系
