同一批数据，相近的参数量，只是内部信息流动的方式不同——RNN像传话游戏，一个词一个词排队传递；Transformer像圆桌会议，任何两个位置可以直接建立关联。结果却是天差地别。为什么？
本期内容：
1. RNN的结构性瓶颈：信息沿链条传递，距离越远损耗越大
2. Transformer的关键改变：不是提高了传输速度，而是改变了哪些路径存在
3. 拓扑：决定系统能力的不是节点有多少，而是谁能和谁直接交换信息
4. 结构决定三件事：信息能传多远、有多少条路可走、什么模式能被捕获
5. 从AI到大脑到城市：Transformer的全局连接、大脑的长程通道、城市的制度网络——同一个原理在不同尺度重复
6. 结构本身也是信息：关于信息如何流动的信息
7. 结构之后的下一个问题：当可能的关联近乎无限，系统依据什么做出选择？
有些门不是推得不够用力，而是墙上根本没有门。
订阅频道，和Neo一起探索信息与现实的底层结构
