先说好周六出发、预算两千、不吃海鲜,聊了一阵,AI 却推荐了海鲜大餐。这个模拟例子里,可能出了什么问题?
这期把屏幕里的聊天记录和发给模型的本轮输入拆开看,再用 NoteGen 举例,解释上下文窗口、历史摘要与长期记忆分别做什么。
旧信息可能没有进入这一轮输入;即使发过去了,模型也可能忽略或理解错。摘要和记忆能帮助延续对话,但都不保证保住每个细节。
长任务可以分阶段做,下一步带上目标、进度和硬条件,重要结果自己核对。
00:00 明明说过,怎么又忘了
00:11 这一轮收到了什么
00:24 上下文窗口与历史整理
00:37 摘要遗漏和信息使用失误
00:54 长期记忆怎样参与对话
01:09 下一步带上关键条件
本片使用 AI 辅助编写脚本和代码动画,旁白由豆包语音合成。原理画面为代码图解,PC 界面为 NoteGen 共享组件复刻;旅行对话及摘要省略忌口为模拟假设,非实机录屏或错误复现测试。
配乐:Wallpaper — Kevin MacLeod(incompetech.com),CC BY 4.0。曲目:https://incompetech.com/music/royalty-free/index.html?isrc=USUAN1100843 。许可:https://creativecommons.org/licenses/by/4.0/ 。本片对音乐做了截取、音量调整、淡入淡出,并与旁白混音。
参考资料:
Anthropic:Effective context engineering for AI agents
https://www.anthropic.com/research/effective-context-engineering-for-ai-agents
Lost in the Middle: How Language Models Use Long Contexts
https://arxiv.org/abs/2307.03172v3
NoteGen 本期源码基线:ab0f5bf93fb4bc0b7aba007c9d13a80cf9486809
https://github.com/codexu/note-gen