• 投稿

开源决策引擎 Laya 实测:能平替 Jev 吗?

5439
1
2026-09-25 08:41:22
89
22
135
15
一个 key 用全球大模型🔴 https://DMXAPI.cn 🚀 国内直连 OpenAI、Claude、Gemini,💰¥1 元起充! - 加入我的知识星球:https://t.zsxq.com/W5Oj7 上一期,我用两个公开数据集对 Jev 做了 662 次测试。这一期把完全相同的样本、问题和计分脚本交给开源项目 Laya,从本地部署开始,完整展示测试过程和结果。 本期使用 Laya 0.3.11 和英文 base checkpoint `convaiinnovations/laya`,在 Apple M3 的 MPS 上本地运行。测试包括 200 条 SMS Spam 和 462 条 Banking77,统一比较准确率与 Macro F1。 本次结果汇总: - SMS Spam:Jev 96.5% / Laya 84.0%;Macro F1 为 0.926 / 0.759 - Banking77:Jev 81.6% / Laya 39.6%;Macro F1 为 0.806 / 0.346 - Laya 本地推理中位延迟为 50 ms 和 294 ms;Jev 云端调用为 447 ms 和 432 ms Banking77 的 77 个选项超过 Laya 官方建议的大约 20 个选项,因此这既是相同条件对比,也是一次架构边界的压力测试。评估只覆盖两个英文数据集、662 条样本,视频展示过程和结果,不把它外推为对两个项目的全面结论。 相关链接: - Laya 官方仓库:https://github.com/NandhaKishorM/laya - Laya 模型卡:https://huggingface.co/convaiinnovations/laya
致力于AI与Web3知识分享与落地的社区。
Jev
(2/5)
3万播放
简介
Jev 到底准不准?我拿两个 Kaggle 数据集测了 662 次,结果有点出人意料
15:46
开源决策引擎 Laya 实测:能平替 Jev 吗?
12:38
Jev 实战分享:我用它给 Pi Agent 做了一个跑偏提醒插件
14:19
Jev 最大竞争对手来了!OpenAI Decisions API 实测,文字、图片与三种决策类型
11:44
Jev 1.14 新特性初体验:全新问题类型 Box,基于图片定位目标
11:08
客服
顶部
赛事库 课堂 2021拜年纪