Mem-W: Latent Memory-Native GUI Agents

原论文 · 优先级 P0 · 复核日期：2026-09-07

与当前研究的关系：过期历史分块压8个软token；保视觉信息但不直接可读证据。用户当前重心为同一任务的历史信息，跨任务经验另列条件，不能把两种记忆的收益混合。

0. 摘要

摘要译文；依据原始摘要，CC BY 4.0许可。以下保留摘要的作者表述，具体实验口径见第4节。

GUI 智能体开始把网页、手机和桌面作为可交互环境来操作；成功控制需要保留超越当前短暂画面的视觉、流程和任务级证据。然而，多数智能体仍将记忆视为外部、面向人类阅读的材料：历史先被总结、分类、检索，再作为文字或结构化记录重新注入，之后由策略再次编码。这使经验的存储形式与现代 GUI 策略实际处理的潜在嵌入序列之间产生错位。作者提出 Mem-W，一系列以潜在记忆为原生组成的 GUI 智能体，将记忆视作连续上下文的一部分，而非辅助符号结构。Mem-W 通过共享的轨迹到潜在表示压缩器，将历史轨迹作为经验记忆、会话内片段作为工作记忆，压缩成紧凑记忆 token；再将它们与当前 GUI 观察和局部上下文交织成统一的连续嵌入序列，使智能体通过相同的机器表示接口读取成功、失败和未完成进度。训练结合自蒸馏与结果感知监督，保留决策相关状态，并筛选真正支持任务成功的记忆证据。在四个网页和手机导航基准上，Mem-W 持续改善多种骨干和记忆增强基线，最高提升达 30.0，表明原生潜在上下文记忆有望成为长程 GUI 智能体的可扩展基础。

1. 方法动机

长任务既要记住当前任务早些时候的事实，也可能需要复用以前任务的操作经验。把两者分别做成人工设计的文本摘要、图或模板，会产生额外格式转换，且可能丢失视觉细节。

论文的直觉是让记忆与模型输入使用同一种连续表示。它保留“来源不同”的标记，但不为每类经验手写独立摘要结构，让行动目标决定哪些信息值得留下。

2. 方法设计

§3.2 Unified Trajectory-to-Latent Compressor

统一表示观察—动作片段。 每个片段含截图和带参数的动作序列；已完成历史附成功或失败标记，进行中的片段使用未知结果标记。冻结编码器产生特征，再由 Q-Former 的可学习查询提取固定长度输出。

§3.2 软token

压缩为模型原生软 token。 每个片段输出 K 个潜在向量，投影到 GUI 模型输入维度。结果不解码成自然语言；成功、失败或未知标记参与查询与特征构造，使模型可以区分经验性质。

§3.3 Procedural Memory

检索跨任务经验。 用冻结编码器的池化表示构造当前任务与轨迹库检索向量，按相似度取前 M 条。离散检索不参与梯度优化，选中轨迹按排名压缩并拼接。正文默认 M=5。

§3.3 Working Memory / Latent Weaving

压缩本次任务的过期历史。 最近 L=3 步保留原始形式，更早前缀按最多 W=4 步切成不重叠块，各自压成 K=8 个 token 并保持时间顺序。两类记忆加不同来源向量，再放在当前截图及局部上下文之前；系统对总块数设上限。

§3.4 Stage 1：Compression Fidelity

先学习压缩保真。 同一冻结 GUI 模型作为长上下文教师与压缩上下文学生，目标包含动作监督和教师到学生的 KL。模型参数不更新，梯度通过输入软 token 流向压缩器。

§3.4 Stage 2：Outcome-aware Optimization

再按任务结果优化记忆。 冻结智能体带着当前压缩器实跑，取得终态二值奖励；带基线的策略梯度经动作对数概率更新压缩器，并用第一阶段压缩器形成固定 KL 参照。环境与离散检索不反向传播，训练的是记忆接口而非底座策略参数。

自拟例子：把记忆在什么时候使用讲清楚

前四步截图压成一个记忆块，下一阶段读取块推理。若块混淆两行相似商品，难直接审计；你的可回查图像记录可以检查来源，代价是检索和额外视觉输入。

模型输入、输出与记忆边界

训练、模型规模、具体输入输出及调用次数见各方法小节；没有查明的参数不填入建议值冒充原文默认值。

3. 与其他方法对比

它减少的是记忆表示长度，不是无需编码历史；压缩器和查询构造仍是实际开销。

4. 实验表现与优势

AndroidControl-v2 使用逐步准确率、动作类型及 grounding，GUI-Odyssey 使用 Type Match 与 Exact Match；网页子集则按整项成功率评估，不能把四种协议混称在线任务成功率。表 2 中 4B 的 AC-v2-High Pass@1 步准确率从 49.30% 到 63.07%。原文表 2、第 4.1 节

MMInA 表 4 的 UI-Venus 底座从 18.5% 到 48.5%，平均步数 13.0 到 8.2，但任务时间从 83.2 秒增加到 127.9 秒、每步从 6.4 到 15.6 秒。Qwen 配置成功率从 11.5% 到 40.5%，任务时间也从 102.0 到 117.9 秒。因此它是明确的能力与计算折中，不能报告为相对裸模型端到端加速。原文表 4

移除工作记忆的 UI-Venus 配置达到 47.5%、82.4 秒，完整系统只再提高 1 个百分点却增加开销，显示记忆来源的边际价值需要分别评估。作者强调更大经验库和更多检索可改善表现，但收益会饱和。分析推断：潜在记忆难直接检查内容，错误经验和环境更新后的过时知识可能被压缩后继续传播。

5. 学习与应用

开放状态：论文提供 代码、4B 与 8B 模型 链接；本轮未读源码。最小复现使用冻结底座、8 个查询 token、3 步原始窗口、4 步分块和前 5 条检索，先训练压缩保真，再单独加入结果优化。

复现建议：严格分开训练轨迹、经验库与评测目标，记录每块来源和缓存版本；分别测检索、历史编码、Q-Former、底座预填充及环境等待。实际应用可先只接经验记忆，再根据收益决定是否压缩本次历史，避免为了统一结构而无条件启用全部开销。

6. 总结

核心思想：把历史和经验压成共同记忆输入

速记流程：检索过去经验→切分本次历史→压成少量向量→结合当前画面行动

来源与核查：论文，读取第 3 节全部方法及第 4 节实验；开放资源来自论文。

对“历史摘要＋局部视觉证据回查”的具体启发

作为潜在压缩代表。黑盒VLM无法直接接软token，要明确接口与训练预算不同。

不能把检索到的旧图片直接当作当前可点击坐标。历史图可证明过去出现过什么；当前动作的位置和状态必须由当前观察核验。研究评估需区分过去事实回忆正确、当前状态有效和最终动作正确三个环节。

原文方法图

原文图示与图题。下面直接引用作者图像；解释以上文为准。

原表核查附录

以下保留原表数值、行序与英文方法名称，便于核查；标题与分组行可能在HTML中跨列。各指标含义、测试划分和可比较条件见上面的实验解释，空格不等于0。

原表 2（点击展开）

原表位置

Model	AC-v2-High	AC-v2-High	AC-v2-High	AC-v2-High	AC-v2-High	AC-v2-High	AC-v2-Low	AC-v2-Low	AC-v2-Low	AC-v2-Low	AC-v2-Low	AC-v2-Low	Odyssey	Odyssey
Model	Pass@1	Pass@1	Pass@1	Pass@4	Pass@4	Pass@4	Pass@1	Pass@1	Pass@1	Pass@4	Pass@4	Pass@4	TM	EM
Model	Acc	Type	Ground	Acc	Type	Ground	Acc	Type	Ground	Acc	Type	Ground	TM	EM
Proprietary / Closed-source Models
GPT-4o + UGround †	57.00	–	–	66.30	–	–	78.40	–	–	85.40	–	–	–	-
GPT-4.1 + UGround †	57.50	–	–	63.30	–	–	78.40	–	–	83.20	–	–	–	–
GPT-5-mini + UGround †	52.80	–	–	58.80	–	–	77.10	–	–	83.20	–	–	–	–
GPT-5 + UGround †	61.30	–	–	69.40	–	–	86.20	–	–	90.00	–	–	–	–
Open-source Models
GUI-R1-3B †	40.00	–	–	54.00	–	–	55.80	–	–	71.90	–	–	–	–
GUI-R1-7B †	39.70	–	–	56.30	–	–	62.30	–	–	72.60	–	–	–	–
Aguvis-7B †	37.70	–	–	43.70	–	–	48.00	–	–	48.70	–	–	26.70	13.50
UI-TARS-1.5-7B	45.20	70.60	57.40	63.10	84.17	72.65	48.50	71.36	80.27	70.90	89.95	87.44	72.13	50.98
GLM-4.1V-9B-Thinking	37.20	67.84	48.43	49.00	74.87	59.64	67.10	90.20	67.26	73.40	93.22	78.48	67.26	32.88
GUI-Owl-1.5-8B	40.45	59.05	60.09	52.76	69.60	73.09	77.14	86.68	88.34	84.42	93.47	92.38	79.24	58.95
Qwen3-VL-2B	45.48	64.07	59.64	59.80	73.62	73.99	77.64	85.18	87.00	84.92	89.95	93.72	58.85	38.70
Qwen3-VL-8B	54.80	69.35	67.71	66.10	77.89	79.82	77.60	82.91	90.27	83.20	86.93	94.17	74.96	48.73
Qwen3-VL-32B	59.05	74.62	69.96	70.10	82.16	77.58	84.42	89.95	91.83	88.69	92.21	94.17	80.62	56.69
MAI-UI-2B	42.71	61.06	66.37	43.47	65.33	62.78	49.25	64.32	82.51	54.77	68.09	87.00	70.12	47.95
Step-GUI-4B	59.30	74.37	69.96	71.36	83.17	80.72	68.84	75.13	88.79	82.16	86.68	94.62	64.99	44.94
GUI-Libra-7B †	59.30	–	–	67.30	–	–	85.20	–	–	90.70	–	–	–	–
GUI-Libra-8B †	64.30	–	–	70.60	–	–	88.90	–	–	91.70	–	–	–	–
UI-Venus-1.5-30B-A3B	51.26	67.84	64.13	64.07	74.62	75.34	79.65	87.94	87.44	87.44	91.21	91.93	80.56	60.64
Mem-W Models
Qwen3-VL-4B	49.30	63.57	69.06	63.30	75.88	77.13	78.90	85.93	90.58	82.40	88.69	93.72	72.89	44.73
\hookrightarrow Mem-W -4B (Ours)	63.07	74.62	70.85	74.87	83.92	80.72	84.92	90.95	92.58	89.20	93.72	93.72	75.07	46.93
UI-Venus-1.5-8B	61.06	74.62	61.06	70.10	80.40	82.51	81.66	88.44	91.03	87.19	93.22	94.17	83.12	62.45
\hookrightarrow Mem-W -8B (Ours)	68.59	81.16	71.30	80.40	88.94	82.96	87.94	93.72	89.24	94.22	98.24	94.62	84.88	65.05

原表 3（点击展开）

原表位置

Model	MMInA	Mind2Web	Mind2Web
Model	Shop	Info	Service
Open-source Native Models
Qwen2.5-VL-7B	16.00	9.80	17.65
GLM-4.1V-9B-Thinking	28.50	10.78	26.47
GUI-Owl-1.5-8B	5.00	8.82	30.39
Qwen3-VL-2B	9.50	9.80	23.52
Qwen3-VL-8B	19.50	13.73	26.47
Qwen3-VL-32B	36.00	13.73	27.45
UI-Venus-1.5-30B-A3B	13.50	3.92	8.82
MAI-UI-2B	2.50	19.41	21.57
Step-GUI-4B	19.50	12.75	21.56
Mem-W Models
UI-TARS-1.5-7B	5.50	5.88	6.86
\hookrightarrow Mem-W -7B (Ours)	32.50 (+27.00)	20.59 (+14.71)	22.55 (+15.69)
UI-Venus-1.5-8B	18.50	5.88	15.69
\hookrightarrow Mem-W -8B (Ours)	48.50 (+30.00)	23.53 (+17.65)	36.27 (+20.58)
Qwen3-VL-4B	11.50	13.72	14.71
\hookrightarrow Mem-W -4B (Ours)	40.50 (+29.00)	22.55 (+8.83)	26.47 (+11.76)

原表 4（点击展开）

原表位置

Backbone	Setting	Succ.	#Steps	Hit-Max	Time/Task	Time/Step
UI-Venus	Vanilla	18.5	13.0	70.5	83.2	6.4
UI-Venus	w/o Working	47.5	7.7	28.5	82.4	10.7
UI-Venus	w/o Experiential	43.0	10.0	52.1	142.0	14.2
UI-Venus	Full Mem-W	48.5	8.2	42.2	127.9	15.6
Qwen	Vanilla	11.5	15.0	99.0	102.0	6.8
Qwen	w/o Working	38.5	8.3	33.0	105.4	12.7
Qwen	w/o Experiential	35.5	10.3	52.1	139.1	13.5
Qwen	Full Mem-W	40.5	7.1	22.0	117.9	16.6
GUI Agent Baselines
GLM-4.1V-9B-Thinking	GLM-4.1V-9B-Thinking	28.5	10.5	53.8	180.6	17.2
Qwen3-VL-32B	Qwen3-VL-32B	36.0	12.7	59.0	125.7	9.9
Step-GUI-4B	Step-GUI-4B	19.5	2.5	5.5	32.3	12.9
UI-TARS-1.5-7B	UI-TARS-1.5-7B	5.5	13.3	75.5	81.1	6.1
UI-Venus-1.5-30B-A3B	UI-Venus-1.5-30B-A3B	13.5	9.6	32.0	119.0	12.4

原表 5（点击展开）

原表位置

Model	Bench	10\mathrm{K}	20\mathrm{K}	30\mathrm{K}	50\mathrm{K}
Qwen	MMINA	35.00	38.00	39.50	40.00
Qwen	Mind2Web	25.49	26.47	27.45	28.43
UI-Venus	MMINA	37.00	43.00	47.50	50.50
UI-Venus	Mind2Web	29.41	33.33	36.27	38.24

原表 6（点击展开）

原表位置

Domain	Success	Failure	Total	Success Rate (%)
academic	1246	6579	7825	15.92
education	1045	6536	7581	13.78
entertainment	297	1817	2114	14.05
finance	692	3907	4599	15.05
food	835	4840	5675	14.71
government	1417	10491	11908	11.90
health	1380	9447	10827	12.75
news	600	3386	3986	15.05
service	861	5530	6391	13.47
shopping	612	4634	5246	11.67
social	415	1666	2081	19.94
tech	1505	7231	8736	17.23
travel	271	4287	4558	5.95
Overall Summary	11176	70351	81527	13.71

原表 7（点击展开）

原表位置

Domain	Success	Failure	Total	Success Rate (%)
academic	2491	13158	15649	15.92
education	2089	13072	15161	13.78
entertainment	593	3634	4227	14.03
finance	1384	7814	9198	15.05
food	1670	9680	11350	14.71
government	2834	20982	23816	11.90
health	2760	18894	21654	12.75
news	1199	6772	7971	15.04
service	1722	11060	12782	13.47
shopping	1223	9268	10491	11.66
social	830	3332	4162	19.94
tech	3010	14462	17472	17.23
travel	541	8574	9115	5.94
Overall Summary	22346	140702	163048	13.71

原表 8（点击展开）

原表位置

Domain	Success	Failure	Total	Success Rate (%)
utility	832	2	834	99.76
social communication	532	0	532	100.00
media services	517	3	520	99.42
information handling	335	52	387	86.56
cross-app workflow	232	19	251	92.43
e-commerce	41	47	88	46.59
Overall Summary	2489	123	2612	95.29

原表 9（点击展开）

原表位置

Domain	Success	Failure	Total	Success Rate (%)
utility	1663	5	1668	99.70
social communication	1063	0	1063	100.00
media services	1033	6	1039	99.42
information handling	669	104	773	86.55
cross-app workflow	463	39	502	92.23
e-commerce	81	95	176	46.02
Overall Summary	4972	249	5221	95.23

原表 10（点击展开）

原表位置

Action	Action Format	Functionality
Click	click [element_id]	Click a specified webpage element.
Type	type [element_id] [text]	Enter text into a specified input field.
Hover	hover [element_id]	Move the cursor over a webpage element.
Scroll	scroll [up/down]	Scroll the webpage upward or downward.
Press	press [key_comb]	Execute a keyboard shortcut or key command.
Go to URL	goto [url]	Navigate directly to a specified URL.
Go Back	go_back	Return to the previous page in browser history.
Go Forward	go_forward	Move forward in browser history.
New Tab	new_tab	Open a new browser tab.
Close Tab	close_tab	Close the current browser tab.
Page Focus	page_focus [page_number]	Switch focus to a specified browser page or tab.
Stop	stop [answer]	Terminate the task and return the final answer.

原表 11（点击展开）

原表位置

Action	Action Format	Functionality
Click	click [x,y]	Tap a screen position
Long Press	long_press [x,y]	Long-press a screen position
Scroll	scroll [x1,y1,x2,y2]	Swipe from one position to another
Type	type [text]	Enter text
Complete	complete	Mark the task as completed
Impossible	impossible	Mark the task as impossible
Home	home	Return to the home screen
Back	back	Go back to the previous page
Recent	recent	Open recent apps

原表 12（点击展开）

原表位置

Action	Action Format	Functionality
Answer	answer [text]	Return the final answer to the user query
Click	click [target, x,y]	Tap or click a specific UI element
Select	select [target, option]	Select an option from a list or dropdown menu
LongPress	long_press [target, x,y]	Press and hold a UI element
Write	write [text, x,y]	Enter text into an input field
KeyboardPress	keyboard_press [key]	Press a specific keyboard key
Scroll	scroll [direction]	Scroll a view or container
Swipe	swipe [direction, x,y]	Perform a touchscreen swipe gesture
Wait	wait [seconds]	Pause execution for UI updates
NavigateHome	home	Navigate to the device home screen
NavigateBack	back	Press the system back button
OpenApp	open_app [app]	Launch a specified application
Terminate	terminate [message]	Signal the end of the current task