文章首先介绍了量化技术，即将模型权重转换为较低精度的格式以减少存储需求，例如从 FP32 到 Int8，这可以减少模型大小，但可能会导致准确度下降。接着讨论了剪枝技术，通过将一些权重设置为零来减少模型的大小和计算量，但同样可能会影响模型的准确性。剪枝可以是非结构化的或结构化的，后者更容易实现空间和计算的节省。知识蒸馏是一种允许修改模型架构的方法，它通过让一个小的学生模型学习一个大的教师模型的输出来提高模型的效率和性能。最后，文章提到了工程优化，包括选择合适的硬件（CPU 或 GPU）以及使用如融合内核等技术来提高模型的运行效率。文章强调，这些优化方法在开发成本、推理成本和模型准确性之间需要做出权衡。
References:
LLM Inference Optimization blog post: https://lilianweng.github.io/posts/2023-01-10-inference-optimization/
How to deploy your deep learning project on a budget: https://luckytoilet.wordpress.com/2023/06/20/how-to-deploy-your-deep-learning-side-project-on-a-budget/
Efficient deep learning survey paper: https://arxiv.org/abs/2106.08962
SparseDNN: https://arxiv.org/abs/2101.07948
