• 投稿

【补档】手慢无!手机本地运行限制级大模型! ios/安卓

9798
0
2025-01-31 20:44:42
94
16
162
7
1.下载google play 2.在google play搜索PocketPal,点击下载 3.打开软件点击Models,点+,点Hugging Face搜索大模型 4.尽量下载名字带Q4_NL(4bit量化 normal 压缩)的模型,回答比较精准。 5.解释一下部分量化标识命名规则:NL 平衡精度与速度(Normal)、M 中等优化(middle)、 XS 极致压缩(Extra Small)、K 极限压缩(K-special)、Qx 量化位数(手机上运行 Q4 最佳)。 6.在加载好模型后在Settings中把N PREDICT设置为4096。 如果遇到问题请发到评论区,我会试着解决。
于沉星中苏醒(2024.3.24)
视频选集
(1/2)
审核不让过
00:15
运行时
00:32
客服
顶部
赛事库 课堂 2021拜年纪