首页

投稿

【人工智能】模型压缩四大方法概述 | 量化、剪枝、蒸馏和二值化 | 模型瘦身 | 降低精度 | 速度提升 | 知识蒸馏 | 温度参数 | XNOR | 优缺点

5384

2025-02-03 19:03:47

https://www.youtube.com/watch?v=jW2cmZ-9hLk 为了在保持大型模型能力的同时，给这些巨无霸瘦身，于是就产生了模型压缩技术。今天咱们就来简单聊聊模型压缩的四大核心技术，量化、剪枝、蒸馏和二值化。视频中提到的参考论文： https://arxiv.org/pdf/1603.05279 https://arxiv.org/pdf/2004.09602 https://arxiv.org/pdf/1511.00363 https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/37631.pdf

分享最新科技资讯和发掘新观点

13:16

【人工智能】AMD和Nvidia相比究竟差在哪 | SemiAnalysis长文对比MI300X和H100-H200性能报告 | 名不副实 | 软件差距巨大 |

14:46

21:39

13:16

【人工智能】被指“AI血汗工厂”，Scale AI深陷劳工争议旋涡 | Alexandr Wang | AI数据标注独角兽 | Romotasks | 外包工人

09:26

11:21

【商业】博通站上万亿美元市值 | AI ASIC市场超预期 | 安华高 | 陈福阳 | 并购整合 | FPGA | XPU+超高速互联 | GPU | 英伟达

14:19

【人工智能】o1 pro架构揭秘 | Semianalysis长文剖析推理训练架构 | Claude 3.5 Opus失败了么 | Scaling Laws或会

13:28

14:40

23:29

【分享】当AI比人更聪明，我们还剩什么？| 尤瓦尔·赫拉利对话李开复 | 中英双语

59:09

【人工智能】美五大科技巨头2025年预计需要1000万块H100等效算力 | Blackwell | 微软 | 谷歌 | Meta | Amazon | xAI

10:59

14:17

11:19

10:42

【OpenAI】正式版o1模型 + ChatGPT Pro | OpenAI圣诞活动Day 1 | 推理能力大幅提高 | 每月200美元 | o1 Pro模式

10:06

15:40

11:39

人工智能将颠覆每个行业 “人工智能将是人类历史上最大的一场革命” 孙正义认为，人工智能将比我们以前见过的任何事物都要“更大、更大”。为什么？

58:11

11:30

10:01

11:32

12:12

14:02

11:02

12:44

【人工智能】World Labs发布最新3D世界生成模型 | 李飞飞 | 一张图片可生成交互式3D场景 | 相机控制 | 理解3D几何结构 | 可控性 | 一致

11:22

12:28

09:52

12:32

14:00

08:50

09:49

10:35

17:02

12:12

10:08

13:14

11:58

11:12

09:01

12:29

08:58

14:52

10:54

12:05

11:00

【人工智能】OpenAI o3数学测试涉嫌造假引众怒？| 资助Epoch AI | 提前获数据访问权限 | FrontierMath突破性得分 | 合同保密要求

09:11

13:10

11:04

12:57

13:17

11:20

12:43

【人工智能】DeepSeek R1引发全球开源复现热潮 | HuggingFace Open R1 | TinyZero | simpleRL-reason |

11:18

【新春快乐】DeepSeek开源多模态模型Janus Pro-JanusFlow | 双头雅努斯 | 多模态大一统 | 1.5B-7B参数SOTA | 理解和生

12:53

14:59

13:33

12:25

【人工智能】OpenAI紧急推出o3-mini对抗DeepSeek R1 | 轻量级推理SOTA | 免费可用 | 价格没优势 | Sam Altman回答网友

11:49

14:07

27:11

14:38

41:19

【人工智能】深入浅出ChatGPT大语言模型 | Andrej Karpathy | 三小时视频预习版 | 预训练 | 后训练 | 分词 | Transform

11:09

【人工智能】DeepMind发布Alpha Geometry 2 | 攻克国际数学奥林匹克竞赛IMO几何难题 | 超越金牌得主水平 | 新的语言模型和搜索算法

10:59

11:32

11:12

10:15

【OpenAI】Sam Altman透露GPT-4.5和GPT 5计划 | 最后的非思维链模型 | o3将被整合 | Deep Research免费计划 | 全

11:57

15:08

14:34

14:31

13:16

10:45

11:06

10:37

12:47

09:12

10:03

09:51

11:22

09:06

11:42

16:53

11:34

15:51

18:04

10:39

12:01

13:48

14:53

09:10

15:49

【AI动态】每日科技新闻汇总 | 20250311 | 智元稚晖君发布通用具身基座大模型 | 二次元AI新玩具狸谱爆红 | 北大联合MIT、阿里发布LongPP

18:06

12:31

13:32

【AI动态】每日科技新闻汇总 | 20250314 | 斯坦福开源OctoTools框架 | 清华联合博世推出Chameleon | OpenAI推出智能体构建

19:16

11:52

11:57

12:09

12:51

10:02

15:43

10:09

11:34

14:00

09:22

10:56

11:44

08:08

【人工智能】DeepSeek V3更新版本0324 | Gemini 2.5 Pro实验版发布 | OpenAI终于推出GPT-4o图像生成功能 | AI模型本

09:00

10:31

11:44

10:24

【OpenAI】23年宫斗再爆惊天内幕Ilya遭Murati背刺 | Altman多次欺骗董事会 | Ilya不满已久 | Brockman越级上报 | Mur

08:26

09:35

18:44

14:33

【人工智能】通用奖励模型的推理时Scaling | DeepSeek联合清华发布论文 | R2隐现 | GRM | SPCT | 生成评价原则 | RFT |

11:56

14:16

07:56

09:46

13:59

14:39

13:56

09:41

09:17

顶部