从 AlexNet 开始，人们就无法理解 AI 在干什么了

Name: 从 AlexNet 开始，人们就无法理解 AI 在干什么了
Uploaded: 2025-03-21T03:54:00.000Z
Duration: 17 min 48 s
Channel: 一摩尔炸鸡翅

9.2万

2025-03-21 11:54:00

这段视频用激活地图集解释了ChatGPT和AlexNet这类AI模型的工作原理。ChatGPT本质上就是一层接一层的矩阵运算，输入文本被拆成词和词片段，映射成向量堆成矩阵，经过96层（GPT-3.5）或120层（GPT-4）的transformer模块处理后，最后一列向量再映射回文字，不断循环生成完整回复。视频说这堆“笨计算模块”之所以能写文章、翻译、解题，全靠海量训练数据。 AlexNet是2012年一篇8页论文提出的模型，震惊了计算机视觉界。它用卷积层处理图像，第一层有96个11x11x3的核，这些核能从数据里自动学到检测边缘和色块——旋转90度就会失效。第二层开始无法直接可视化，但通过找激活值最高的图像区域，发现更深层能自动识别更高级的概念，比如第五层有个核专门响应人脸，而训练数据里根本没有“人”这个类别。视频还展示了嵌入空间的概念：AlexNet倒数第二层的4096维向量里，相似概念的图像（比如大象）会聚在附近。Nearest neighbor实验证明，模型学会了语义相似性，而不是靠像素值。方向也有意义，比如人脸变老变年轻就是在嵌入空间里朝特定方向移动。最后，视频回顾了AI发展史。AlexNet的核心思想（人工神经网络）其实来自1940年代的McCulloch-Pitts神经元和1950年代的感知机，但之前因为算力不足一直没被重视。2012年的突破全靠规模：ImageNet有130万张图，加上GPU提供了比15年前多1万倍的计算力，AlexNet参数达到6000万，是LeNet-5的1000倍。今天的ChatGPT参数过万亿，又大了1万倍。视频结尾说，下一个AI突破可能只是再扩大3到4个数量级，也可能是某个被遗忘的旧方法重新崛起。 title: The moment we stopped understanding AI [AlexNet] url: https://www.youtube.com/watch?v=UZDiGooFs54 uploader: Welch Labs publish_timestamp: 2024-07-02 03:09:21 UTC+8 duration: 17:38 原视频描述(中文翻译): 感谢 KiwiCo 赞助了今天的视频！特别感谢 Patrons 的支持。 Welch Labs 无广告视频和专属福利。参考文献 AlexNet 论文原始激活图谱文章——可交互探索！ Carter 等人，《激活图谱》，Distill，2019。特征可视化文章： Olah 等人，《特征可视化》，Distill，2017。大型语言模型可解释性工作： Templeton 等人，《Scaling Monosemanticity: 从 Claude 3 Sonnet 中提取可解释特征》，Transformer Circuits Thread，2024。 Jason Yosinski 的《深度可视化工具箱》视频启发了许多视觉效果。大型语言模型/GPT 入门论文 3B1B 的 GPT 视频一如既往地出色： Andrej Kerpathy 的讲解非常精彩。 Goodfellow 的深度学习书籍 OpenAI 的 10,000 个 V100 GPU 集群（1+ exaflop） GPT-3 规模等：《语言模型是少样本学习者》，Brown 等人，2020。 ChatGPT 的独特 token 数量： GPT-4 训练规模等，推测：历史神经网络视频勘误 1:40 应为："词片段被追加到原始输入的末尾"。感谢 Chris A 发现此问题。 CFAQJOTYQHT7JYIT