MTP合并进llama.cpp主线,推理速度翻倍,路由模式效果实测
16日,MTP功能被合并到llama.cpp主线了,本视频主要演示自己编译最新版本,测试MTP的效果。
此外,前几个视频,有一些网友在回复中提到一些技术细节问题,我虽也只是爱好者,借尝试MTP的机会,分享通过开源网站寻找信息、并完成自己的llama.cpp特定版本安装工作的一些经验与心得。
此外网友交流:
1. `--sleep-idle-seconds` 设定模型自动卸载的时间间隔,感谢文网友信息
2. 路由模式下,可以用 chat-template-file 对每个模型设定单独的模版。