【大模型部署】8bit量化算子解析(已完结!)
训练后量化PTQ深度解读!与量化部署核心原理!【推理引擎】模型压缩系列第04篇
吴恩达《深入模型量化|Quantization in Depth》中英字幕
【8】KV Cache 原理讲解
QLoRA与大模型NF4量化
AWQ:激活值感知的LLM低位权重量化|青稞Talk 19期
怎么加快大模型推理?10分钟学懂VLLM内部原理,KV Cache,PageAttention
[LLMs inference] quantization 量化整体介绍(bitsandbytes、GPTQ、GGUF、AWQ)
vLLM验证AWQ和GPTQ量化后的模型以及GGUF介绍
大模型量化一网打尽四(gptq源码)
【9】MHA、MQA、GQA各种注意力变种机制讲解
【10】Sparse Attention & Infini Attention 稀疏注意力和无限注意力
有难度但必读的一篇论文《DeepSeekMath》
Quantization aware training(神经网络量化训练)
清晰说明——什么是大语言模型(LLM:从零到一)【1】
【大模型量化】llama.cpp轻量化模型部署及量化
大语言模型量化损失测试 fp16/int8/int4成绩对比
大模型量化基础知识【入门】
【12】LoRA、QLoRA 讲解
大模型瘦身技术 GGUF和GPTQ