LLM-as-a-Verifier: A General-Purpose Verification Framework
https://arxiv.org/abs/2607.05391
1. 论文核心: LLM-as-a-Verifier 把验证本身当作一个可扩展的计算轴，从多条 Agent 轨迹中用更细的概率信号挑出更可靠的结果。
2. 问题背景: 测试时扩展会让模型为同一任务生成多条候选，正确轨迹常常已经出现，系统真正困难的是把它从相似的失败轨迹中选出来。
3. 连续分数: 框架读取模型对评分 token 的完整概率分布，用概率加权得到连续分数，避免把不同置信分布压成同一个离散分数。
4. 三个扩展方向: 评分粒度越细，候选差别越容易被保留；重复评估用于降低一次判断的波动；评价标准拆分用于分别检查任务要求、输出格式和错误信号。
5. 排序方法: Probabilistic Pivot Tournament 先用随机环比较消除 A/B 位置偏好，再挑出少量 pivot，把剩余比较预算集中到最可能进入前列的候选上。
6. 论文证据: Terminal-Bench V2 上，离散评分单次平局率为 26.7%；论文主表的 Pass@1 为 83.1%，Oracle Pass@5 为 92.1%，LLM-as-a-Verifier 结果为 86.5%。
7. 成本与缓存: 项目更新把评价标准放在提示尾部，Terminal-Bench 2.1 的前缀缓存命中率从 5.2% 提到 78.4%；文章中的 DeepSeek 与 Fable 5 成本数字属于系统级估算，不能当作相同条件的基础模型横评。
8. 系列定位: Coverage Principle 解释候选池的可达上限，VariationInVerification 讨论验证边界，DPC 展示任务专用的可执行交叉验证，AJ-Bench 关注裁判进入环境取证；本期补上通用概率评分与候选排序。
