这期不吹模型,只做三件事:把 Laya 和 Jev 的差距摆清楚、实测它的内存代价、把部署到边缘的坑填上。全程可复现。
【两个项目】
· Laya(NandhaKishorM/laya,Apache-2.0):非自回归的 System-1 判断引擎,不生成文字,只答结构化问题(选择/打分/是非);官方提供 Jev 兼容接口 POST /v1/systemone,TypeSafe 客户端改个 baseUrl 就能切过来;权重两档:英文 421M/多语言 322M(100+ 语言)。
· Jev(TypeSafe AI):同类 System One 评估模型,云端闭源;已上架 Vercel AI Gateway(typesafe-ai/jev),输入 $0.042/百万 token、输出 $0,32K 上下文,支持并行多问与零数据留存。
【官方自测对比(项目方自己跑的,未经第三方复现)】
· 英语意图:Laya 0.783 > Jev 0.657
· 另 13 种语言:0.306 < 0.451
· **中文单选:20/64 vs 64/64**
· 高基数标签:0.425 vs 0.870(架构性短板,非调参可救)
完整五项对比与三档内存账见置顶评论。
【我的实测】容器内存上限 3096MB、基线占用 1372MB、权重 643.8MB;加载峰值 3.4GB 撞顶,**连续两次被 OOM 强杀**。根因不是模型大,是加载方式。
【章节】
00:00 把中文 20/64 挂在首页的项目
00:25 它是什么:输出 0 个 token
01:30 为什么快 + 内存实测
02:50 怎么装:三个坑与内存账
04:06 与框架配合:成本低 15%、快 3 倍
05:35 边缘部署:网关、缓存与 1101 排查
08:14 适合与不适合的边界
【资料包】源码 + 研究底稿 + CPU-only 安装与内存实测脚本 + Docker 部署方案
夸克 https://pan.quark.cn/s/4c65d61dc515
百度 https://pan.baidu.com/s/1exPUMXuuIEG3TIfV0aIyWg 提取码 j2x0
(GitHub 与权重地址见置顶评论)