大家好，我是过拟合青年。
你发一张猫图给 AI，它精准描述了每个细节。但图片是几百万个数字，大语言模型处理的是 token——这两种东西怎么被同一个模型处理？
答案简单到你不敢信：一个两层的 MLP。
这期视频用动画从头拆解 VLM（视觉语言模型）的完整原理：
图片怎么变成 token（ViT patch 切分 + 线性投影）
CLIP 对比学习：让向量有语义
两个向量空间的鸿沟：为什么不能直接拼
翻译官方案对比：Q-Former vs Flamingo vs MLP
LLaVA 的两阶段训练：先对齐空间，再学推理
高分辨率的挑战：动态分片
不需要任何技术背景，保证你能看懂。
时间节点： 00:00 钩子：图片和文字怎么被同一个模型处理 00:40 承诺：三件事——图片变token、视觉语言对齐、简单架构 01:00 从像素到向量：ViT patch 切分 03:00 CLIP 对比学习：让向量有语义 05:00 两个世界的鸿沟 06:00 翻译官：Q-Former / Flamingo / MLP 08:00 两阶段训练 09:30 高分辨率挑战 10:30 升华：Transformer 是通用认知引擎
过拟合青年 · 用过拟合的热情，做泛化的内容
参考文献
核心论文
ViT — Dosovitskiy et al., "An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale", ICLR 2021. arXiv:2010.11929
CLIP — Radford et al., "Learning Transferable Visual Models From Natural Language Supervision", ICML 2021. arXiv:2103.00020
BLIP-2 — Li et al., "BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models", ICML 2023. arXiv:2301.12597
Flamingo — Alayrac et al., "Flamingo: a Visual Language Model for Few-Shot Learning", NeurIPS 2022. arXiv:2204.14198
LLaVA — Liu et al., "Visual Instruction Tuning", NeurIPS 2023. arXiv:2304.08485
LLaVA-1.5 — Liu et al., "Improved Baselines with Visual Instruction Tuning", 2023. arXiv:2310.03744
扩展参考
SigLIP — Zhai et al., "Sigmoid Loss for Language Image Pre-Training", ICCV 2023. arXiv:2303.15343
LLaVA-NeXT — Liu et al., "LLaVA-NeXT: Improved Reasoning, OCR, and World Knowledge", 2024.
Qwen-VL — Bai et al., "Qwen-VL: A Versatile Vision-Language Model", 2023. arXiv:2308.12966
InternVL — Chen et al., "InternVL: Scaling up Vision Foundation Models and Aligning for Generic Visual-Linguistic Tasks", CVPR 2024. arXiv:2312.14238
