这期用三组实测数据,看看开源决策模型 Laya 和 TypeSafe 的 Jev 差在哪、为什么,以及微调能补回多少。
14 条 PostgreSQL 语句的逻辑判断:Jev 13/14,Laya 6/14。20 张任务卡片选模型档位:Jev 17/20,Laya 最好 9/20。151 张真实看板卡片的项目归类:Jev 0.871,Laya 0.505。
自造 2924 条数据,训练 2 个 epoch 共 3.9 小时。第 1 个 epoch 在手写的 14 条 SQL 上把安全判定从 7/14 提升到 14/14,但逻辑判断仍漏判 4 类问题。这是小样本实测,不是通用性能保证。
补充更正:视频中“没教过的 bug”表述不准确,训练数据包含 NULL 比较、CROSS JOIN 等变体;这里反映的是不同上下文中的泛化仍有不足。
数据和脚本:https://github.com/DDnim/jev-vs-laya
模型:https://huggingface.co/convaiinnovations/laya
本视频使用 AI 辅助制作画面与配音。