Julia Turc
https://www.youtube.com/watch?v=KnCRTP11p5U
这段文字主要对比了 CNN 和视觉 Transformer 在图像分类上的表现，用了一只“猫+长尾小鹦鹉”混合动物的例子来说明：像 ResNet 这样的 CNN 更依赖局部纹理和很强的先验假设，所以容易分类出错；而 Transformer 能看全局信息，结果往往更准。文中还提到，自注意力机制可以通过关注像素间的相对位置来“模仿”卷积，这样不仅能实现全局信息交流，还能更灵活地处理不同类型的数据。随着硬件进步、计算规模扩展和自注意力机制的多面手本领，Transformer 在视觉任务上已经逐渐超过了 CNN，不过直接处理原始像素的成本还是不低。
