首页

投稿

[LLM Architect] 07 VLM 多模态模型架构设计，对比 Gemini Qwen3-VL 与 Kimi K2.5，如何理解原生多模态

1.5万

9

2026-02-03 23:43:11

未经作者授权，禁止转载

本期 code（为包月会员私有 github 仓库，私有仓库也包含我日常的大量学习笔记，包月同学后台私信具体的 github 账户信息，我邀请到项目里边来） https://github.com/wdkns/modern_genai_bilibili/blob/main/llms/%E5%A4%9A%E6%A8%A1%E6%80%81/%E5%8E%9F%E7%94%9F%E5%A4%9A%E6%A8%A1%E6%80%81.ipynb 往期内容参考： BV1NoWszREy5，Gemini 2.5 原生多模态能力

五道口纳什发消息

现代人工智能，不会过时的概念与原理（黑盒到白盒）。跟AI一起进化，connecting the dots

[LLM Architect] 01 MoE 初步，参数量计算，Qwen3-30B-A3B，GQA 与 Sparse MoE

15:30

[LLM Architect] 02 Qwen3 Dense vs. MoE，MoE 等效宽度，attention vs. ffn，RMSNorm

19:03

[Reasoning Model] K2 Thinking，理解 Interleaved thinking 交错推理，定义和处理 Turn

14:53

[kimi] muon optimizer 基本原理，梯度白化（正交化），zeropower，newtonschulz5，，svd，范数

21:48

[LLM Architect] 04 RoPE 理解的几何视角，Qwen3 RoPE 计算细节，与 Interleaved 版本的对比

18:23

[LLM Architect] 05 RoPE Attention 远程衰减理解与推导，如何同时编码短距离和长距离，Base 与 Context Window

16:52

[LLM Architect] 06 Attention Head 典型模式识别与分析，Attention Sink、PTH、Induction Head

19:04

[LLM Architect] 07 VLM 多模态模型架构设计，对比 Gemini Qwen3-VL 与 Kimi K2.5，如何理解原生多模态

17:25

[LLM Architect] 08 Dive into K2.5，Kimi K2.5 论文串讲与导读，原生多模态，Agent Swarm，国产之光

58:20

[LLM Architect] 09 深入理解和对比 prefill与decode | kv-cache | 并行-串行 | GEMM-GEMV | 算力-带宽

34:01

[LLM Architect] 10 为什么LLM无法理解输出马嘉祺，深入理解Glitch（故障）Token，词嵌入漂移、SFT/RL、gradient 视角

24:47

[LLM Architect] 11 探测解码分布一致性推导，MTP 拓扑结构，训练与self speculative decoding

25:09

[LLM Architect] 12 Kimi K3 架构初步，张量计算视角，KDA，MLA，Latent MoE，MoonViT 与残差注意力

32:40

[LLM Architect] 13 Kimi K3 门控机制，门控注意力，Gated MLA，KDA的门控分支，MoE 中的SiTU-GLU，SwiGLU

16:46

[LLM Architect] 14 DeepSeek V4.1 Causal Encoder Decoder， yoco 对比与 kvcache

25:10

[LLM Architect] 15 Jev 架构推测，Tree Mask 隔离复用与并行计算，概率与confidence，RLCD/RLCR

22:09

顶部