大模型量化一网打尽(一)理论基础
Quantization aware training(神经网络量化训练)
神经网络-量化与部署,进阶之路迟早要越过的大山
训练后量化PTQ深度解读!与量化部署核心原理!【推理引擎】模型压缩系列第04篇
yolo系列模型的部署、精度对齐与int8量化加速
模型压缩架构和流程介绍!量化/剪枝/蒸馏/二值化4件套!【推理系统】模型压缩第01篇
【13】GPTQ、AWQ、GGUF等模型量化概念讲解
什么是大模型量化和蒸馏?
神经网络量化
【干货教程】手把手教你大模型量化+蒸馏+微调!从理论到企业级实战,一次全掌握!AI大模型
【模型量化】一天学会大模型量化,从原理讲解、代码实现到微调实战,快速上手,超详细教程,过程可视化,让你完全搞懂模型量化
[LLMs inference] quantization 量化整体介绍(bitsandbytes、GPTQ、GGUF、AWQ)
【大模型部署】8bit量化算子解析(已完结!)
吴恩达《深入模型量化|Quantization in Depth》中英字幕
大模型量化一网打尽(第二部分)
大模型中的数值格式:FP32、FP16、BF16、FP8、INT8、INT4是什么?
Flash Attention 为什么那么快?原理讲解
【模型量化-下】8个关键名词解析:动态量化/非均匀量化/后训练量化等
【人工智能】模型压缩四大方法概述 | 量化、剪枝、蒸馏和二值化 | 模型瘦身 | 降低精度 | 速度提升 | 知识蒸馏 | 温度参数 | XNOR | 优缺点
深度学习模型压缩方法(三):量化