What Memory Do GUI Agents Really Need? From Passive Records to Active Task-Driving States
ATMem organizes task items by execution state and trains against paired memory-enabled and memory-disabled rollouts.
Problem
Remembering a value does not establish whether its item remains pending, has already been processed, or should be skipped.
Contributions
The work introduces active task-state memory, interventional STR-GRPO training, and the DataScope coverage benchmark.
Method
Workflow state stores phases and global constraints, while stable item identifiers track complete values and remaining, finished, or skipped status.
SFT teaches the representation, then paired rollouts from the same initial task state enable or mask only the explicit memory channel.
Rewards combine task completion with the fraction of memory-active steps, so ordinary history remains available in the memory-off condition.
Evaluation
ATMem-UI-8B reports 76.6% success on AndroidWorld and 23.3% on MobileWorld, alongside DataScope metrics for missed targets and out-of-scope actions.
Relative to ordinary GRPO, STR-GRPO improves success while reducing the share of tasks using explicit memory, but this is not a latency metric.
详细阅读笔记 · Y26-155
本笔记保留阅读时的论文版本、来源与实验边界。文中“你的方案／当前方案”等比较反映当时的讨论；当前研究方向见分类页。自拟例子与复现建议不是作者实验结果。
原论文 · 优先级 P0 · 复核日期：2026-09-07
与当前研究的关系：条目ID、待做/已做/跳过，ON/OFF干预训练。用户当前重心为同一任务的历史信息，跨任务经验另列条件，不能把两种记忆的收益混合。
0. 摘要
中文转述，非逐句译文。ATMem 将移动代理记忆从按时间堆积的记录改为主动维护的任务执行状态，把数据值与当前角色、处理状态联系起来。STR-GRPO 对比开启和关闭显式记忆的轨迹，并对无收益的记忆使用施加成本。论文还构建 DataScope，检查代理是否完成所有符合条件的条目、同时避开相似干扰项，在移动环境中验证长流程执行改善。
1. 方法动机
记住电话号码或金额不等于知道它现在该用、已用过还是应跳过。重复条目与跨文件流程中，代理需要反复从历史推断这些关系，容易漏处理、重复处理或提早结束。
一直生成结构化记忆也会增加负担，短任务并不都需要它。监督模仿只能教会记忆格式，难以判断何时值得使用；本文用有无记忆的同任务对照训练策略，限制无益的记忆依赖。
2. 方法设计
§3.1 ATMem
创建两层执行状态：工作流层存 harvest/execute 阶段、全局约束、待读和已读文件；条目层用稳定 ID 存完整可操作对象及 remaining、finished、skipped 状态。字段集合确定后以 Schema.locked 防止跨步结构漂移。
§3.1 状态更新
逐步更新并驱动动作：每次调用前把当前 ATMem 放入系统提示，模型同时生成下一记忆、推理与 GUI 动作；解析出的新记忆进入下一轮。当前截图和普通历史仍在输入中，因此不是以结构化状态完全替换视觉观察。
§3.2 Verified Online Rollout Synthesis
采集验证通过的演示：在含 20 个应用的虚拟移动环境设计 120 个可初始化、可验证的任务模板，生成约 1.1k 个有效实例；规划器和 UIIns 执行真实动作，终态验证通过才保留，产生 21,713 个 SFT 步骤样本。无必要的任务允许记忆为空。
§3.3 Interventional Online RL
对记忆通道做干预：STR-GRPO 在同一任务、相同初态的候选组中，一半开放显式 ATMem，一半屏蔽；普通观察、动作和推理历史仍对两组可见。它比较的是显式记忆的额外作用，并非完全无历史的代理。
§3.3 STR-GRPO奖励
用结果和记忆活跃成本更新：轨迹奖励为终态验证结果减去 α×开启标志×记忆非空步骤比例，在混合组内归一化优势。ON 轨迹优化记忆、推理、动作 token；OFF 轨迹屏蔽记忆 token 损失。成本按活跃步骤比例计算，不是逐 token 长度惩罚。
§3.4 DataScope Benchmark and Metrics
检查覆盖与范围：DataScope 固定操作模式而增加目标条目及相同结构干扰项，共 32 个任务家族、96 个实例、14 个应用。除整任务成功率，另外用应用进度和范围感知 F1 区分漏做目标与误动无关数据。
方法依据：原文 §3.1–§3.4：ATMem、轨迹合成和 STR-GRPO。
自拟例子：把记忆在什么时候使用讲清楚
从列表处理10张发票时，知道发票内容不足以防止重复报销，必须记哪些已做。只存图标patch无法表达条目完成状态，需要与任务状态结合。
模型输入、输出与记忆边界
| 项目 | 本文实际范围 |
|---|---|
| 记忆来源 | 同任务活动执行状态与记忆必要性训练 |
| 与本方案相同或不同 | 条目ID、待做/已做/跳过，ON/OFF干预训练 |
| 应固定的对照条件 | 借鉴成对记忆干预验证因果作用；加入目标覆盖率和重复处理率。 |
训练、模型规模、具体输入输出及调用次数见各方法小节；没有查明的参数不填入建议值冒充原文默认值。
3. 与其他方法对比
| 对比对象 | 原有做法与局限 | 本文改变及代价 |
|---|---|---|
| 平面历史或自由笔记 | 值与处理状态混在长文本中 | 显式保存阶段、条目 ID 和完成状态 |
| 固定启用记忆的 SFT | 模仿格式而难判断必要性 | 在线比较 ON/OFF，学习选择使用 |
| 普通 GRPO | 终态奖励难区分成功是否依赖记忆 | 同任务混合组及活跃成本提供相对信号 |
| 只测任务成功 | 无法细分漏项和超范围操作 | DataScope 同时控制目标数和干扰数 |
4. 实验表现与优势
Table 2 中，ATMem-UI-8B 在 AndroidWorld 为 76.6%，比表列 MAI-UI-8B 高 5.9 个百分点；MobileWorld 为 23.3%。这些成绩对应训练后的整套策略，不能全部归因于推理阶段多放一个记忆块。
Table 4 的同底座消融中，基础 8B 在 AndroidWorld/MobileWorld 为 47.6%/9.4%；SFT 分别提高 23.1/7.8 个百分点。相比普通 GRPO，STR-GRPO 进一步提高 1.8/2.6 个百分点，同时“至少调用过一次记忆”的任务比例降低 13.8/14.6 个百分点。这个 Mem. 指标不是时延指标。
在线训练使用 128 个活跃 Android 容器和 128 张 H20，说明小部署模型不等于小训练成本。论文显示记忆长度和无益调用下降，但没有给出可直接支持整任务提速的墙钟数据；终止检查及长程恢复仍是残余失败来源。
数据来源：原文 §4.1–§4.3、Tables 2–4；§4.5。
5. 学习与应用
开放状态：代码与模型为公开承诺，本轮没有确认可下载版本；正文出现的 GELab 仓库是比较对象，不能作为本文开放证据。
最小复现建议：先实现一个含重复条目的跨应用任务，保存条目稳定 ID 与状态转换，人工检查何时标为 finished。再固定初态做同数 ON/OFF 轨迹，核对 OFF 是否真正屏蔽显式记忆及其损失；报告正确覆盖、误操作、记忆长度、调用比例与真实耗时。
6. 总结
核心思想：把记忆变成待办数据的执行状态
速记流程：建立任务与条目状态 → 每步更新已做和未做 → 对比有无记忆的结果 → 只保留有收益的记忆使用
来源与核查：原始论文；已读 §3.1–§3.4：ATMem、轨迹合成和 STR-GRPO、§4.1–§4.3、Tables 2–4、§4.5；许可。作者自身开放链接尚未确认。
对“历史摘要＋局部视觉证据回查”的具体启发
借鉴成对记忆干预验证因果作用；加入目标覆盖率和重复处理率。
不能把检索到的旧图片直接当作当前可点击坐标。历史图可证明过去出现过什么；当前动作的位置和状态必须由当前观察核验。研究评估需区分过去事实回忆正确、当前状态有效和最终动作正确三个环节。
原文方法图
原文图示与图题。下面直接引用作者图像；解释以上文为准。
原表核查附录
以下保留原表数值、行序与英文方法名称，便于核查；标题与分组行可能在HTML中跨列。各指标含义、测试划分和可比较条件见上面的实验解释，空格不等于0。
原表 1（点击展开）
| Method | Params | SR |
|---|---|---|
| Larger and proprietary models for reference | ||
| UI-TARS-SFT ( Qin et al., 2025 ) | 72B | 65.9 |
| UI-Venus ( Gu et al., 2025 ) | 72B | 65.9 |
| Qwen3-VL-235B-A22B ( Bai et al., 2025 ) | 235B | 63.7 |
| UI-TARS-1.5 ( Seed, 2025b ) | – | 64.2 |
| Gemini-2.5-Pro ( DeepMind, 2025 ) | – | 69.7 |
| Seed1.8 ( Seed, 2025a ) | – | 70.7 |
| UI-TARS-2 ( Wang et al., 2025a ) | 230B | 73.3 |
| Recent 4B/8B models | ||
| Step-GUI ( Yan et al., 2025 ) | 8B | 67.7 |
| MAI-UI ( Zhou et al., 2025 ) | 8B | 70.7 |
| GUI-Owl-1.5-Thinking ( Xu et al., 2026 ) | 8B | 71.6 |
| ATMem-UI (Ours) | 4B | 65.5 |
| ATMem-UI (Ours) | 8B | 76.6 |
原表 2（点击展开）
| Method | Params | SR |
|---|---|---|
| Larger models for reference | ||
| UI-Venus-1.5 ( Team et al., 2026 ) | 30B | 17.1 |
| UI-Venus ( Gu et al., 2025 ) | 72B | 16.4 |
| GUI-Owl ( Ye et al., 2025 ) | 72B | 8.5 |
| Recent 4B/7B/8B models | ||
| GUI-Owl ( Ye et al., 2025 ) | 7B | 7.7 |
| UI-Venus ( Gu et al., 2025 ) | 7B | 8.5 |
| GELab-Zero ( Team, 2025 ) | 4B | 16.1 |
| ATMem-UI (Ours) | 4B | 20.5 |
| ATMem-UI (Ours) | 8B | 23.3 |
原表 3（点击展开）
| Method | Params | Data-Scope-V1 | Data-Scope-V1 | Data-Scope-V1 | Data-Scope-V2 | Data-Scope-V2 | Data-Scope-V2 | Data-Scope-V3 | Data-Scope-V3 | Data-Scope-V3 |
|---|---|---|---|---|---|---|---|---|---|---|
| SR | \bm{S_{\mathrm{prog}}} | \bm{S_{\mathrm{scope}}} | SR | \bm{S_{\mathrm{prog}}} | \bm{S_{\mathrm{scope}}} | SR | \bm{S_{\mathrm{prog}}} | \bm{S_{\mathrm{scope}}} | ||
| Agentic framework for reference | ||||||||||
| GPT-5.2+ UIIns ( OpenAI, 2025 ; Chen et al., 2025 ) | – | 18.8 | 35.4 | 38.4 | 6.2 | 16.1 | 21.3 | 3.1 | 9.3 | 13.2 |
| End-to-end mobile agents | ||||||||||
| GELab-Zero ( Team, 2025 ) | 4B | 0.0 | 4.2 | 3.9 | 0.0 | 3.6 | 6.4 | 0.0 | 2.6 | 4.4 |
| UI-TARS-1.5 ( Seed, 2025b ) | 7B | 0.0 | 1.6 | 1.7 | 0.0 | 1.6 | 1.8 | 0.0 | 1.6 | 1.5 |
| GUI-Owl ( Ye et al., 2025 ) | 7B | 0.0 | 3.6 | 5.7 | 0.0 | 1.6 | 1.1 | 0.0 | 1.6 | 1.5 |
| UI-Venus ( Gu et al., 2025 ) | 7B | 0.0 | 1.6 | 3.8 | 0.0 | 1.6 | 0.6 | 0.0 | 0.0 | 0.7 |
| GUI-Owl-1.5 ( Xu et al., 2026 ) | 8B | 3.1 | 4.7 | 7.3 | 0.0 | 2.6 | 7.4 | 0.0 | 2.6 | 5.0 |
| MAI-UI ( Zhou et al., 2025 ) | 8B | 3.1 | 8.8 | 10.7 | 3.1 | 4.2 | 3.9 | 0.0 | 3.7 | 4.2 |
| GUI-Owl ( Ye et al., 2025 ) | 32B | 0.0 | 2.6 | 2.2 | 0.0 | 1.6 | 1.1 | 0.0 | 0.0 | 0.5 |
| UI-Venus-1.5-A3B ( Team et al., 2026 ) | 30B | 0.0 | 1.6 | 4.1 | 0.0 | 1.6 | 1.8 | 0.0 | 1.6 | 1.5 |
| Our model | ||||||||||
| ATMem-UI (Ours) | 8B | 6.2 | 11.7 | 15.7 | 6.2 | 9.4 | 9.8 | 3.1 | 6.3 | 8.2 |
原表 4（点击展开）
| Training Recipe | AndroidWorld | AndroidWorld | MobileWorld | MobileWorld |
|---|---|---|---|---|
| SR (%) | Mem. (%) | SR (%) | Mem. (%) | |
| Qwen3-VL-8B-Instruct | ||||
| Baseline | 47.6 | – | 9.4 | – |
| SFT | 70.7 | 48.2 | 17.2 | 49.6 |
| \Delta vs. Baseline | +23.1 | – | +7.8 | – |
| SFT + GRPO | 74.8 | 45.7 | 20.7 | 44.7 |
| \Delta vs. SFT | +4.1 | -2.5 | +3.5 | -4.9 |
| SFT + STR-GRPO | 76.6 | 31.9 | 23.3 | 30.1 |
| \Delta vs. SFT + GRPO | +1.8 | -13.8 | +2.6 | -14.6 |
| \Delta vs. SFT | +5.9 | -16.3 | +6.1 | -19.5 |
原表 5（点击展开）
| Configuration | SFT | Online RL |
|---|---|---|
| Base model | Qwen3-VL-4B/8B-Instruct | SFT checkpoint |
| Training GPUs | 128 NVIDIA H20 | 128 NVIDIA H20 |
| Node setup | 16 nodes, 8 GPUs/node | 16 nodes, 8 GPUs/node |
| CPU / memory per training node | 96 cores / \sim 900GB | 96 cores / \sim 900GB |
| Training time | \sim 2 hours | \sim 3 days |
| Precision | bfloat16 | bfloat16 |
| Max sequence / response length | 20,768 | 81,920 |
| Vision encoder | Frozen | – |
| Parallelism | ZeRO-2 offload | TP=2, PP=1, CP=2 |
| Batch size | 1 per GPU | global 32, mini-batch 32 |
| Rollout group size | – | 16 |
| Screenshot resolution | max pixels 12,845,056 | 1600\times 720 |
| Environment servers | – | 3 bare-metal servers |
| Environment server config | – | 96 cores / 384GB each |
| Environment containers | – | 200 total, 128 active |
原表 6（点击展开）
| Task Family | Apps | #Apps | DC-V1 | DC-V2 | DC-V3 |
|---|---|---|---|---|---|
| CalendarFocusTracksRetroPlaylist | Calendar Music | 2 | 0/4/3 | 0/13/3 | 0/20/3 |
| CalendarMeetingPrepAndNotify | Calendar | 1 | 5/13/5 | 20/43/20 | 36/100/36 |
| CalendarTodayAlarmsInClock | Calendar Clock | 2 | 2/7/2 | 3/10/3 | 4/17/4 |
| CallLogContactTodoMarkorSync | Contacts Markor Phone Tasks | 4 | 2/0/2 | 3/6/3 | 3/7/3 |
| CallLogTopContactsFavorite | Contacts Phone | 2 | 13/1/13 | 18/14/18 | 22/29/22 |
| ChromeInviteCodeAndSmsSend | Chrome Messages | 2 | 3/4/3 | 4/7/4 | 9/18/9 |
| ExpensePurgeHousingFoodLogMarkor | Markor Expense Book | 2 | 0/0/3 | 0/0/3 | 0/0/5 |
| FilesClosedProjectContactDelete | Contacts Files | 2 | 2/4/2 | 3/12/3 | 3/35/3 |
| FilesDatedReimburseTxtToExpense | Files Expense Book | 2 | 3/0/3 | 3/0/3 | 4/0/4 |
| FilesPartyMenuRecipesToBroccoli | Broccoli Files | 2 | 2/0/2 | 2/0/2 | 2/0/2 |
| FilesSetlistExportRetroM3u | Files Music | 2 | 0/3/4 | 0/6/4 | 0/9/4 |
| FilesWorkEventsToCalendar | Calendar Files | 2 | 3/6/3 | 6/10/6 | 8/17/8 |
| FilesWorkMergeToMarkorCsv | Files Markor | 2 | 3/3/3 | 4/3/4 | 6/8/6 |
| GalleryImageListToMarkor | Gallery Markor | 2 | 4/1/4 | 4/6/4 | 6/12/6 |
| GalleryVlcArtistPlaylistsFromImages | Gallery VLC | 2 | 2/3/2 | 3/12/3 | 4/21/4 |
| MarkorTaskAssignmentDistribute | Markor | 1 | 2/5/2 | 4/25/4 | 5/60/5 |
| RecipeNutFreePurgeLogMarkor | Broccoli Markor | 2 | 6/3/6 | 7/3/7 | 9/3/9 |
| RetroLightMusicPartyMarkorSms | Markor Messages Music | 3 | 2/2/2 | 2/6/2 | 3/8/3 |
| SmsAgentPhoneToMarkorTxt | Markor Messages | 2 | 4/10/4 | 4/7/4 | 6/30/6 |
| SmsAlbumQueueRetroMarkor | Markor Messages Music | 3 | 2/8/2 | 2/13/2 | 2/21/2 |
| SmsColleagueTripReimburseToExpense | Messages Expense Book | 2 | 1/4/1 | 1/4/1 | 2/15/10 |
| SmsDavidBugfixToCalendar | Calendar Messages | 2 | 3/6/3 | 4/8/4 | 6/10/6 |
| SmsDavidClientsToContacts | Contacts Messages | 2 | 3/7/3 | 3/18/3 | 4/48/4 |
| SmsDavidTodoToTasks | Messages Tasks | 2 | 1/3/1 | 2/10/2 | 3/25/3 |
| SmsExpenseAuditAndReport | Messages Expense Book | 2 | 0/2/2 | 0/6/6 | 0/15/12 |
| SmsFamilyRecipeToBroccoli | Broccoli Messages | 2 | 2/4/2 | 3/9/3 | 4/13/4 |
| SmsFriendRecommendationsVlcPlaylists | Messages VLC | 2 | 2/3/2 | 5/13/5 | 7/20/7 |
| SmsPotluckRecipeBroccoliCalendar | Broccoli Calendar Messages | 3 | 4/6/4 | 4/6/4 | 5/9/5 |
| SmsStockDataToMarkorCsv | Markor Messages | 2 | 2/5/2 | 4/12/4 | 7/27/7 |
| SmsWorkPlanToMarkorTodo | Markor Messages Tasks | 3 | 1/3/1 | 3/10/3 | 5/25/5 |
| SmsWorkoutPlaylistRetroMarkor | Markor Messages Music | 3 | 1/3/1 | 1/9/1 | 1/20/1 |
| VlcPlaylistsToMarkorMdFiles | Files Markor VLC | 3 | 2/8/2 | 2/11/2 | 2/17/2 |
Open this note in the interactive notebook (comments, hooks) → · All notes