• 投稿

[Reasoning Model] K2 Thinking,理解 Interleaved thinking 交错推理,定义和处理 Turn

7202
9
2025-11-16 22:27:18
204
95
215
50
理解 chat template:BV1LKXSYqE3T kimi 1.5论文导读:BV1RXNDeMEin r1 论文导读:BV15yA3eWE5b
现代人工智能,不会过时的概念与原理(黑盒到白盒)。跟AI一起进化,connecting the dots
LLM架构
(3/16)
21.3万播放
简介
[LLM Architect] 01 MoE 初步,参数量计算,Qwen3-30B-A3B,GQA 与 Sparse MoE
15:30
[LLM Architect] 02 Qwen3 Dense vs. MoE,MoE 等效宽度,attention vs. ffn,RMSNorm
19:03
[Reasoning Model] K2 Thinking,理解 Interleaved thinking 交错推理,定义和处理 Turn
14:53
[kimi] muon optimizer 基本原理,梯度白化(正交化),zeropower,newtonschulz5,,svd,范数
21:48
[LLM Architect] 04 RoPE 理解的几何视角,Qwen3 RoPE 计算细节,与 Interleaved 版本的对比
18:23
[LLM Architect] 05 RoPE Attention 远程衰减理解与推导,如何同时编码短距离和长距离,Base 与 Context Window
16:52
[LLM Architect] 06 Attention Head 典型模式识别与分析,Attention Sink、PTH、Induction Head
19:04
[LLM Architect] 07 VLM 多模态模型架构设计,对比 Gemini Qwen3-VL 与 Kimi K2.5,如何理解原生多模态
17:25
[LLM Architect] 08 Dive into K2.5,Kimi K2.5 论文串讲与导读,原生多模态,Agent Swarm,国产之光
58:20
[LLM Architect] 09 深入理解和对比 prefill与decode | kv-cache | 并行-串行 | GEMM-GEMV | 算力-带宽
34:01
[LLM Architect] 10 为什么LLM无法理解输出马嘉祺,深入理解Glitch(故障)Token,词嵌入漂移、SFT/RL、gradient 视角
24:47
[LLM Architect] 11 探测解码分布一致性推导,MTP 拓扑结构,训练与self speculative decoding
25:09
[LLM Architect] 12 Kimi K3 架构初步,张量计算视角,KDA,MLA,Latent MoE,MoonViT 与残差注意力
32:40
[LLM Architect] 13 Kimi K3 门控机制,门控注意力,Gated MLA,KDA的门控分支,MoE 中的SiTU-GLU,SwiGLU
16:46
[LLM Architect] 14 DeepSeek V4.1 Causal Encoder Decoder, yoco 对比与 kvcache
25:10
[LLM Architect] 15 Jev 架构推测,Tree Mask 隔离复用与并行计算,概率与confidence,RLCD/RLCR
22:09
客服
顶部
赛事库 课堂 2021拜年纪