官网：https://lmstudio.ai/
推荐下载模型网站：https://modelscope.cn/home
1 上下文满足使用要求 （上下文长度，kv cache 量化）
- 日常对话与轻量级任务（< 32K Tokens）
- 标准办公与开发（32K - 128K Tokens）
- 长文档分析与复杂推理（128K - 1M Tokens）
2.1 尽可能将大模型装入 GPU （moe expert offload）（gpu offload）（cpu 线程池大小）
- moe expert into cpu （数值越大，CPU 计算越多，显存占用越小，速度越慢）
- gpu offload （数值越大，显存占用越多，拉满时模型完全装入显卡，速度越快）
- cpu 线程池大小（没有准确的合适参数，不是越大越好）
3 评估批处理大小，数值越大，越消耗内存，首 Token 越慢，后续越快。
