【第 01 期】六家记忆插件,同一把尺
同一个 AI 记忆任务:同一部小说 23 章、同一批 92 题、同一台机器、同一个评测器。
不比"像不像人",只比一件事:问它的话,它找不找得回来。
▶ 时间轴
00:00 冷开场:它昨天说记住了
00:04 五问:记忆好不好,看哪五件事
00:19 速度:灌 23 章、查 92 题,各要多久
00:25 第一道分水岭:过零智能基线的只有两家
00:32 同尺召回:92 题条级,官方评测器
00:39 一个修正过的规律:给得越多,找得回越多——前提是给原文
00:46 会说不:问它记不记得,三家三种反应
00:54 会改自己:更少见的那种
01:00 遗忘:34.1% 与 4%,以及"三十天减一半"
01:08 遗忘换来了什么
01:16 三个翻车现场:不是不好用,是根本没法用
01:25 你该装哪个:按你的情况,不按名次
📦 本期被测项目(六家 + 一条基线)
灵枢 0.9.12 — https://github.com/FuRongJun-1999/dsh-memory
memsearch — https://github.com/zilliztech/memsearch
OpenViking — https://github.com/volcengine/OpenViking
deja-vu — https://github.com/vshulcz/deja-vu
ReMe — https://github.com/agentscope-ai/ReMe
对照基线:朴素 BM25(自实现,用来标定"零智能"的下限)
第 12 幕的三家(就是那三个翻车现场)
meow-memory — https://github.com/Phant0Meow/dsh-meow-memory
project-memory — https://github.com/00080000/dsh-project-memory
memento — https://github.com/PerryLink/dsh-memento
❓ 你怎么自己验(不用信我)
1. 把同一部小说灌进去(23 章,六万字量级就够);
2. 用同一批题问它,题目里必须有"只有原句才答得出"的那种;
3. 把它的回答翻回原文对一遍——对不上,就是没找回来。
三步不需要写代码,只需要会点开文件。
🧪 评测仓库(题库 + 语料 + 判分器,全部公开)
https://github.com/FuRongJun-1999/hive-memory-bench
184 道长文本记忆理解题(本期用的是主轮 92 道;另有干预轮 92 道)+ 可运行判分器 + 同批模型的外测数据。
本期每一个数字,都能在这个仓库里跑出来。
📌 作品相关
灵枢是我写的。排行榜里第一名,是我自己的产品。
数据、脚本、语料全部公开在上面那个仓库,任何人可以照着复跑;哪一条对不上,欢迎在评论里点名,我逐条复核。
🎵 音乐
Meditation Impromptu 01 — Kevin MacLeod (incompetech.com)
Licensed under Creative Commons: By Attribution 4.0
https://creativecommons.org/licenses/by/4.0/
🐳 形象
DS鲸鱼娘|模型:B站@氵六青(11272072)|形象版权:@上善无形 & @ZipZipPin
Licensed under CC BY-NC-SA 4.0
https://creativecommons.org/licenses/by-nc-sa/4.0/