MementoGUI: Learning Agentic Multimodal Memory Control for Long-Horizon GUI Agents
MementoGUI learns when to write, compress, select, and retrieve multimodal memory for a frozen GUI executor.
Problem
Unbounded history is costly, while textual summaries can lose visual evidence and indiscriminate experience retrieval can distract the executor.
Contributions
MementoCore trains four memory-control adapters and combines event-gated working memory with on-demand episodic retrieval.
Method
A step processor scores event importance and stores selected summaries, ROI crops, and visual embeddings.
A compressor merges older entries while retaining image identifiers; a selector filters retrieved past-task episodes before constructing multimodal policy input.
After termination, an episodic writer turns the outcome and final memory into a reusable experience record.
Evaluation
On GUI-Odyssey, the reported UI-Venus-1.5-8B action-matching score rises from 54.58 without history to 68.32 with the full system under an offline protocol.
The new 200-trajectory benchmark separates 80 evaluation trajectories from 120 experience-building trajectories, and added episodic memory increases measured inference time.
详细阅读笔记 · Y26-113
本笔记保留阅读时的论文版本、来源与实验边界。文中“你的方案／当前方案”等比较反映当时的讨论；当前研究方向见分类页。自拟例子与复现建议不是作者实验结果。
原论文 · 优先级 P0 · 复核日期：2026-09-07
与当前研究的关系：事件写入、压缩保图ID、按需检索、小控制器训练，最直接全系统竞争者。用户当前重心为同一任务的历史信息，跨任务经验另列条件，不能把两种记忆的收益混合。
0. 摘要
中文转述，非逐句译文。依据 arXiv:2605.18652 当前缓存全文，许可为 arXiv 非独占传播许可。MementoGUI 为冻结的 GUI 模型增加一个可训练的记忆控制层：它决定何时保存界面证据、怎样压缩旧状态，以及何时检索过去任务。文本摘要与局部截图共同保存信息，论文同时构建侧重记忆依赖的离线评测集。
1. 方法动机
长任务的下一步往往取决于前面选过的对象、尚未满足的约束或已经完成的子目标。原始历史重放保留信息较多，却会带来上下文增长；纯文本压缩又可能丢掉按钮位置、选中状态等视觉证据。
论文把重点从“给执行器更长历史”移到“主动管理记忆”。记忆控制器可以单独训练，底层 GUI 模型保持冻结，从而比较同一执行器在不同信息管理方式下的表现。
2. 方法设计
§3 Data Curation
把交互视频整理为四类监督。 利用 PSAI 视频和操作元数据生成步骤处理、旧记忆压缩、整段经验写入及检索候选筛选四类训练样本。变化区域、键入内容和动作日志帮助识别事件及子目标；抽查200条轨迹中197条完全正确，是数据质检结果。
§4.3 Training MementoCore
训练共享骨干上的四个适配器。 MementoCore 使用冻结 Qwen3-VL 和四套 LoRA。四个操作器均做监督训练；步骤处理器与压缩器再用偏好优化，偏好样本来自规则扰动后经 VLM 筛选的正确/受损记忆对。
§4.2.1 Event-Gated Working Memory
按事件写工作记忆。 输入目标、当前截图、上一动作及已有记忆，步骤处理器输出显著性分数、事件摘要、感兴趣区域与检索开关。分数超过阈值才写入，并保存摘要、裁剪截图及用于组织记忆的视觉嵌入。
§4.2.1 容量与压缩
容量超限时压缩。 较旧条目合并为摘要及需要保留的图像标识；构造提示时再把标识解析成局部截图，并限制传入的图像数量。这些图像作为普通多模态输入，不是给执行器新增特殊视觉 token。
§4.2.2 On-Demand Episodic Memory
有需要才更新跨任务经验。 第一轮必检索，之后由检索开关决定是否刷新。先按目标文本和当前视觉的加权余弦相似度粗选，再用多模态选择器剔除不相关经验；不刷新时沿用已有结果。
§4.1–4.2 执行与经验写入
冻结执行器并积累新经验。 执行器读取当前截图、工作记忆和筛选后的经验，输出下一动作；轨迹结束后，写入器根据结果、最终记忆和代表性局部图像生成新的经验记录。记忆管理本身仍有模型调用与检索开销。
自拟例子：把记忆在什么时候使用讲清楚
在第3步记录订单详情局部图，第12步要核对金额时取回。它已经保存摘要＋局部截图并学习控制写入；因此你的YOLO裁图替代其ROI只是实现变化，需证明特定历史错误被系统性解决。
模型输入、输出与记忆边界
| 项目 | 本文实际范围 |
|---|---|
| 记忆来源 | 同任务文字＋局部截图工作记忆及跨任务检索 |
| 与本方案相同或不同 | 事件写入、压缩保图ID、按需检索、小控制器训练，最直接全系统竞争者 |
| 应固定的对照条件 | 必须做MementoGUI-style工作记忆强基线；创新须落到证据选择目标、可恢复性、状态有效性或小模型成本而非组件拼接。 |
训练、模型规模、具体输入输出及调用次数见各方法小节；没有查明的参数不填入建议值冒充原文默认值。
3. 与其他方法对比
| 方法 | 保留内容与调用方式 | 主要收益及代价 |
|---|---|---|
| 全部预测历史 | 连续注入旧动作历史 | 简单，但历史错误和上下文持续积累 |
| 文本摘要记忆 | 用文字概括过去状态 | 较紧凑，可能丢失局部视觉细节 |
| 仅工作记忆 | 事件门控、局部图像及压缩 | 维护当前任务状态，不借用过去任务 |
| 工作加情节记忆 | 增加按需检索和二次筛选 | 支持经验迁移，但多出选择器成本 |
表4还显示随机经验和直接取向量检索首项可能损害性能。因此关键并非“多塞一些历史”，而是选择与当前状态真正相关的证据。
4. 实验表现与优势
表1中 UI-Venus-1.5-8B 在 GUI-Odyssey 的动作匹配分数由无历史的54.58升至68.32，离线轨迹成功率由1.29%升至3.57%；仅工作记忆分别为67.69和2.69%。这里使用既有轨迹的离线协议，不能当作在线环境中完成任务的实测成功率。原文表1
新基准包含200条、6,953步轨迹，其中80条评测、120条用于积累测试时经验。语义动作匹配、任务进展和记忆一致性由 Gemini-3.1-Pro 评判，因此这些指标也有模型裁判依赖。
表5固定 UI-Venus-8B、采用2B控制器时，GUI-Odyssey 每轨迹推理时间从仅工作记忆41.98秒增至加入情节记忆51.68秒。该时间含控制器、检索、提示构造及执行器推理，但不是在线应用响应与操作耗时。表2 API 模型也普遍因记忆增时。作者承认能力收益伴随延迟；分析上不能因采用事件门控就认定整体更快。
5. 学习与应用
论文给出项目页，本轮核其原文链接，不据此推定全部训练资源已发布，也未查看实现。PSAI 是上游数据来源，应与本文自建控制器及新基准分开记录。
最小复现先冻结一个8B执行器，训练四个操作器，仅启用工作记忆，再加入检索和选择器。复现建议：严格隔离80条评测轨迹与120条经验积累轨迹，保存每次写入和检索决定，统计错取经验、遗漏事件及控制器耗时。阈值、容量及局部图像上限需核配置；不能只报告执行器解码时间来代表整套记忆系统。
6. 总结
核心思想：学习何时记住与取回界面证据
速记流程：判断当前事件 → 保存文字与局部画面 → 压缩旧记忆 → 按需取经验 → 交给执行器
来源与核查：阅读原文第3–5节、表1–5及项目链接；未读取实现源码。
对“历史摘要＋局部视觉证据回查”的具体启发
必须做MementoGUI-style工作记忆强基线；创新须落到证据选择目标、可恢复性、状态有效性或小模型成本而非组件拼接。
不能把检索到的旧图片直接当作当前可点击坐标。历史图可证明过去出现过什么；当前动作的位置和状态必须由当前观察核验。研究评估需区分过去事实回忆正确、当前状态有效和最终动作正确三个环节。
原文方法图
原文图示与图题。下面直接引用作者图像；解释以上文为准。
原表核查附录
以下保留原表数值、行序与英文方法名称，便于核查；标题与分组行可能在HTML中跨列。各指标含义、测试划分和可比较条件见上面的实验解释，空格不等于0。
原表 1（点击展开）
| Backbone | Method | GUI-Odyssey | GUI-Odyssey | MM-Mind2Web | MementoGUI-Bench | MementoGUI-Bench | MementoGUI-Bench |
|---|---|---|---|---|---|---|---|
| Backbone | Method | AMS \uparrow | Traj. SR \uparrow | Step SR \uparrow | VAM \uparrow | TPS \uparrow | MCS \uparrow |
| Proprietary generalist MLLM agents | |||||||
| GPT-5.5 Singh et al. (2026) | Direct Prompting | 54.46 | 2.02 | 18.81 | 1.95 | 2.00 | 2.86 |
| Gemini-3.1-Pro Google DeepMind (2026) | Direct Prompting | 60.62 | 1.81 | 22.97 | 2.18 | 2.67 | 2.75 |
| Open-source frozen GUI backbones | |||||||
| UI-Venus-1.5-8B Gao et al. (2026) | No History | 54.58 | 1.29 | 5.29 | 1.80 | 2.00 | 0.00 |
| UI-Venus-1.5-8B Gao et al. (2026) | Pred. Hist. All | 66.31 | 2.33 | 7.57 | 1.58 | 2.29 | 5.36 |
| UI-Venus-1.5-8B Gao et al. (2026) | Text Summary Memory | 62.18 | 2.12 | 11.66 | 1.58 | 3.38 | 3.08 |
| UI-Venus-1.5-8B Gao et al. (2026) | Working Memory | 67.69 | 2.69 | 11.80 | 1.41 | 4.63 | 7.00 |
| UI-Venus-1.5-8B Gao et al. (2026) | Working + Episodic Memory | 68.32 | 3.57 | 12.60 | 1.67 | 5.16 | 7.14 |
| MAI-UI-8B Zhou et al. (2025) | No History | 35.70 | 0.36 | 12.53 | 1.81 | 2.00 | 0.00 |
| MAI-UI-8B Zhou et al. (2025) | Pred. Hist. All | 44.79 | 1.35 | 13.44 | 1.54 | 2.11 | 7.55 |
| MAI-UI-8B Zhou et al. (2025) | Text Summary Memory | 38.33 | 0.62 | 13.28 | 1.63 | 3.00 | 3.23 |
| MAI-UI-8B Zhou et al. (2025) | Working Memory | 49.08 | 1.97 | 14.61 | 1.76 | 5.13 | 8.18 |
| MAI-UI-8B Zhou et al. (2025) | Working + Episodic Memory | 49.31 | 2.12 | 14.67 | 1.88 | 5.36 | 8.13 |
| GUI-Owl-1.5-8B Xu et al. (2026) | No History | 40.15 | 0.16 | 17.78 | 1.60 | 2.00 | 0.00 |
| GUI-Owl-1.5-8B Xu et al. (2026) | Pred. Hist. All | 38.88 | 0.47 | 13.56 | 1.04 | 2.00 | 5.25 |
| GUI-Owl-1.5-8B Xu et al. (2026) | Text Summary Memory | 45.45 | 0.62 | 14.14 | 1.51 | 3.05 | 3.10 |
| GUI-Owl-1.5-8B Xu et al. (2026) | Working Memory | 48.25 | 1.40 | 15.53 | 1.79 | 3.38 | 7.39 |
| GUI-Owl-1.5-8B Xu et al. (2026) | Working + Episodic Memory | 49.45 | 1.71 | 16.42 | 1.82 | 4.18 | 7.73 |
| GUI-Owl-1.5-32B Xu et al. (2026) | No History | 45.73 | 0.57 | 18.98 | 2.10 | 2.00 | 0.00 |
| GUI-Owl-1.5-32B Xu et al. (2026) | Pred. Hist. All | 49.02 | 1.55 | 16.48 | 1.83 | 2.11 | 4.73 |
| GUI-Owl-1.5-32B Xu et al. (2026) | Text Summary Memory | 47.21 | 0.72 | 17.00 | 2.37 | 3.40 | 3.40 |
| GUI-Owl-1.5-32B Xu et al. (2026) | Working Memory | 51.36 | 2.33 | 17.71 | 2.50 | 4.24 | 7.85 |
| GUI-Owl-1.5-32B Xu et al. (2026) | Working + Episodic Memory | 55.17 | 2.59 | 19.12 | 2.89 | 4.31 | 8.30 |
原表 2（点击展开）
| Backbone | Method | GUI-Odyssey / AMS \uparrow | GUI-Odyssey / Traj. SR \uparrow | GUI-Odyssey / Token | GUI-Odyssey / Time | MementoGUI-Bench / VAM \uparrow | MementoGUI-Bench / TPS \uparrow | MementoGUI-Bench / MCS \uparrow | MementoGUI-Bench / Token | MementoGUI-Bench / Time |
|---|---|---|---|---|---|---|---|---|---|---|
| GPT-5.5 | Direct Prompting | 54.46 | 2.02 | 29,974 | 66.28 s | 1.95 | 2.00 | 2.86 | 80,066 | 133.15 s |
| GPT-5.5 | Working Memory | 55.73 +2.33% | 2.07 +2.48% | 37,798 | 80.73 s | 1.63 -16.41% | 2.57 +28.50% | 6.57 +129.72% | 66,718 | 174.69 s |
| Gemini-3.1-Pro | Direct Prompting | 60.62 | 1.81 | 26,100 | 58.44 s | 2.18 | 2.67 | 2.75 | 75,769 | 125.37 s |
| Gemini-3.1-Pro | Working Memory | 61.94 +2.18% | 1.97 +8.84% | 43,918 | 78.91 s | 2.59 +18.81% | 3.71 +38.95% | 7.22 +162.55% | 106,237 | 160.82 s |
原表 3（点击展开）
| Method | GUI-Odyssey / AMS \uparrow | GUI-Odyssey / Traj. SR \uparrow | MementoGUI-Bench / VAM \uparrow | MementoGUI-Bench / TPS \uparrow | MementoGUI-Bench / MCS \uparrow |
|---|---|---|---|---|---|
| Backbone: UI-Venus-1.5-8B Gao et al. (2026) | |||||
| Text Summary Memory | 62.18 | 2.12 | 1.58 | 3.38 | 3.08 |
| WM w/o Visual Memory | 64.22 | 2.48 | 1.53 | 4.50 | 6.68 |
| Working Memory | 67.69 | 2.69 | 1.41 | 4.63 | 7.00 |
| Backbone: GUI-Owl-1.5-8B Xu et al. (2026) | |||||
| Text Summary Memory | 45.45 | 0.62 | 1.51 | 3.05 | 3.10 |
| WM w/o Visual Memory | 47.58 | 1.19 | 1.76 | 3.33 | 5.78 |
| Working Memory | 48.25 | 1.40 | 1.79 | 3.38 | 7.39 |
原表 4（点击展开）
| Method | GUI-Odyssey / AMS \uparrow | GUI-Odyssey / Traj. SR \uparrow | MementoGUI-Bench / VAM \uparrow | MementoGUI-Bench / TPS \uparrow | MementoGUI-Bench / MCS \uparrow |
|---|---|---|---|---|---|
| Backbone: UI-Venus-1.5-8B Gao et al. (2026) | |||||
| WM Only | 67.69 | 2.69 | 1.41 | 4.63 | 7.00 |
| Random Episodic Context | 64.46 | 2.22 | 1.31 | 4.48 | 6.35 |
| Single-stage Retrieval | 64.40 | 2.33 | 1.62 | 4.79 | 6.65 |
| Two-stage Retrieval | 68.32 | 3.57 | 1.67 | 5.16 | 7.14 |
| Backbone: GUI-Owl-1.5-8B Xu et al. (2026) | |||||
| WM Only | 48.25 | 1.40 | 1.79 | 3.38 | 7.39 |
| Random Episodic Context | 45.66 | 1.29 | 1.72 | 3.48 | 6.83 |
| Single-stage Retrieval | 48.08 | 1.19 | 1.69 | 3.89 | 7.51 |
| Two-stage Retrieval | 49.45 | 1.71 | 1.82 | 4.18 | 7.73 |
原表 5（点击展开）
| Backbone | #Params | Method | GUI-Odyssey / AMS \uparrow | GUI-Odyssey / Traj. SR \uparrow | GUI-Odyssey / Time | MementoGUI-Bench / VAM \uparrow | MementoGUI-Bench / TPS \uparrow | MementoGUI-Bench / MCS \uparrow | MementoGUI-Bench / Time |
|---|---|---|---|---|---|---|---|---|---|
| UI-Venus-1.5-8B Gao et al. (2026) | 2B | Working Memory | 67.69 | 2.69 | 41.98 s | 1.41 | 4.63 | 7.00 | 86.91 s |
| UI-Venus-1.5-8B Gao et al. (2026) | 2B | Working + Episodic Memory | 68.32 +0.93% | 3.57 +32.71% | 51.68 s | 1.67 +18.44% | 5.16 +11.45% | 7.14 +2.00% | 100.84 s |
| UI-Venus-1.5-8B Gao et al. (2026) | 4B | Working Memory | 67.82 | 2.74 | 61.95 s | 1.53 | 4.84 | 7.36 | 124.60 s |
| UI-Venus-1.5-8B Gao et al. (2026) | 4B | Working + Episodic Memory | 68.84 +1.50% | 3.20 +16.79% | 60.76 s | 1.44 -5.88% | 4.90 +1.24% | 7.71 +4.76% | 140.63 s |
| UI-Venus-1.5-8B Gao et al. (2026) | 8B | Working Memory | 67.38 | 2.85 | 72.47 s | 1.60 | 4.83 | 7.39 | 105.52 s |
| UI-Venus-1.5-8B Gao et al. (2026) | 8B | Working + Episodic Memory | 69.83 +3.64% | 3.36 +17.89% | 56.20 s | 1.63 +1.87% | 4.96 +2.69% | 7.96 +7.71% | 124.78 s |
| GUI-Owl-1.5-8B Xu et al. (2026) | 2B | Working Memory | 48.25 | 1.40 | 49.02 s | 1.79 | 3.38 | 7.39 | 83.28 s |
| GUI-Owl-1.5-8B Xu et al. (2026) | 2B | Working + Episodic Memory | 49.45 +2.49% | 1.71 +22.14% | 54.57 s | 1.82 +1.68% | 4.18 +23.67% | 7.73 +4.60% | 94.89 s |
| GUI-Owl-1.5-8B Xu et al. (2026) | 4B | Working Memory | 48.49 | 1.60 | 60.81 s | 1.64 | 3.90 | 7.58 | 114.37 s |
| GUI-Owl-1.5-8B Xu et al. (2026) | 4B | Working + Episodic Memory | 49.05 +1.15% | 1.71 +6.88% | 61.21 s | 1.87 +14.02% | 3.68 -5.64% | 7.53 -0.66% | 114.96 s |
| GUI-Owl-1.5-8B Xu et al. (2026) | 8B | Working Memory | 49.47 | 1.81 | 64.45 s | 1.65 | 4.14 | 7.50 | 94.49 s |
| GUI-Owl-1.5-8B Xu et al. (2026) | 8B | Working + Episodic Memory | 50.70 +2.49% | 1.81 +0.00% | 55.24 s | 2.18 +32.12% | 4.58 +10.63% | 7.75 +3.33% | 107.15 s |
Open this note in the interactive notebook (comments, hooks) → · All notes