一个 key 用全球大模型🔴 https://DMXAPI.cn 🚀 国内直连 OpenAI、Claude、Gemini,💰¥1 元起充!
- 加入我的知识星球:https://t.zsxq.com/W5Oj7
上一期,我用两个公开数据集对 Jev 做了 662 次测试。这一期把完全相同的样本、问题和计分脚本交给开源项目 Laya,从本地部署开始,完整展示测试过程和结果。
本期使用 Laya 0.3.11 和英文 base checkpoint `convaiinnovations/laya`,在 Apple M3 的 MPS 上本地运行。测试包括 200 条 SMS Spam 和 462 条 Banking77,统一比较准确率与 Macro F1。
本次结果汇总:
- SMS Spam:Jev 96.5% / Laya 84.0%;Macro F1 为 0.926 / 0.759
- Banking77:Jev 81.6% / Laya 39.6%;Macro F1 为 0.806 / 0.346
- Laya 本地推理中位延迟为 50 ms 和 294 ms;Jev 云端调用为 447 ms 和 432 ms
Banking77 的 77 个选项超过 Laya 官方建议的大约 20 个选项,因此这既是相同条件对比,也是一次架构边界的压力测试。评估只覆盖两个英文数据集、662 条样本,视频展示过程和结果,不把它外推为对两个项目的全面结论。
相关链接:
- Laya 官方仓库:https://github.com/NandhaKishorM/laya
- Laya 模型卡:https://huggingface.co/convaiinnovations/laya