方案一:
下载链接(无需翻墙):https://meta.alicdn.com/data/mnn/mnn_llm_app_debug_0_1.apk
项目原链(想看的话): https://github.com/alibaba/MNN
由于是第一个测试版,有很多 bug,如果跑不通就不要试了,等作者更新
方案二:
1.需要翻墙
2.软件在google play下载
3.搜出来的几个模型都是R1的蒸馏模型(可以理解为给其它的大模型带上一个R1面具,让人看起来像R1,但本质上不是R1)
4.尽量下载名字带Q4_NL(4bit量化 normal 压缩)的模型,回答比较精准。
5.解释一下部分量化标识命名规则:NL 平衡精度与速度(Normal)、M 中等优化(middle)、 XS 极致压缩(Extra Small)、K 极限压缩(K-special)、Qx 量化位数(手机上运行 Q4 最佳)。
6.在加载好模型后请在Settings中把N PREDICT设置为4096。
如果遇到问题请发到评论区,我会试着解决。