Chain-of-Memory: Enhancing GUI Agents for Cross-Application Navigation

原论文 · 优先级 P0 · 复核日期：2026-09-07

同任务短期动作结果＋跨应用长期文字事实。与研究方案的关系：较早将历史截图概括为结果并长期保存关键值；无按需原图RAG。

0. 摘要

中文转述，非逐句翻译。CoM先比较动作前后画面，形成短期动作结果，再抽取任务相关界面内容并决定哪些进入长期记忆，最后结合当前图和两类记忆产生动作。作者还为GUI-Odyssey增加CoM标注并微调模型。

1. 方法动机

坐标动作难表达操作结果，堆叠旧截图又冗长。跨应用任务更需要把前一应用读到的信息带到后续界面；因此要分开近期进度与应长期保存的内容。

2. 按原文小节解释方法

原文§3.1 Short-term Memory

逐步比较前后画面、操作目标及动作，写成动作结果文字。短期列表默认只保留最近4条，超过容量移走最早条目。它总结的是已发生的效果，而不是仅保存点击坐标。

原文§3.3 Screen Information

在写长期记忆前，先根据用户任务和短期进度提取当前屏幕相关内容。例如找笔记本电脑推文时，仅细述相关推文，不逐个描述全部控件。这是任务相关内容筛选，不是永不遗漏未来需求的保证。

原文§3.2 Long-term Memory

模型根据任务、短期记忆和ScreenInfo，输出是否保存的标记L以及提炼后的内容C；只有L为true才写入。算法1中若仍在同一应用则替换长期记忆最后条目，跨应用才新增条目，并关联应用名。这是原文的替换规则，不能自行解释为会合并保留所有旧事实。这里的长期主要服务跨步骤/跨应用的信息流转，不应自动等同跨任务RAG。

原文§3.4 Action Decision

当前截图、短期记忆与长期记忆共同决定下一动作，执行后再观察更新；没有Retrieve(j)工具补回已被丢弃旧截图。

原文§4 GUI Odyssey-CoM

从GUI-Odyssey的7735个episode构造标注。Qwen2-VL-72B按短期、屏幕信息、长期的依赖顺序生成，每输入产生3候选再评选；小模型随后学习这些字段。训练有教师标注成本，不是纯提示零训练方案。

自拟例子：跨应用复制内容

先在微博读到某产品名称，四步后转购物应用搜索。短期记忆记已经切应用，长期记忆保产品名；若将两款产品混成一个名称，文字摘要自身无法验证，需要原图证据回查。

3. 模型输入输出与训练/推理分工

输入任务、当前/上一截图、上一动作、STM与LTM；输出更新STM、LTM和当前动作。作者分别评测大模型零样本与7B微调版本。注意2025 GUI CoM不是同名的通用Chain-of-Memory，也不是连续向量CoMEM。

GUI-Odyssey轨迹加记忆标注后训练；常规评测利用数据集提供的记忆信息，另用Memory-Enhanced Fine-tuning训练模型自己生成与利用记忆。表2带星号CoM*明确表示全部记忆由代理自己生成；复现自主执行条件时应优先采用这一设置。算法给出的是各功能的输入输出依赖，不能据此断言有四个独立模型，或每步恰好只有一次模型调用。

4. 实验、指标和原表解释

表2 Qwen2-VL-7B微调基线AMS82.84、轨迹SR19.14、TSS75.68；CoM为84.25、21.00、83.97；自生成CoM*为84.22、21.16、81.33。AMS是动作匹配分数，SR是离线轨迹成功；TSS是Task Switching Score（任务切换分数），不是语义评分。按§5.1.3，只在真实动作是HOME的位置检查切换：该步及下一步都预测正确才算成功，不能当成任意跨应用转换或在线真实完成率。零样本小模型Qwen2-VL-7B AMS14.60→12.71，说明直接加复杂记忆协议可能退化。

表2的主要比较是同一底座加CoM前后：零样本的Qwen2-VL-7B、Qwen2-VL-72B、InternVL2.5-78B；微调的Qwen-VL-7B、Qwen2-VL-7B。另列OdysseyAgent（即P001中使用历史视觉重采样的模型）作为已有方法，AMS79.99、SR14.43、TSS73.00。没有OdysseyAgent+CoM这一行，不能把跨底座成绩差都归因于记忆机制。§4.2的Llama-3.2-90B-Vision用于挑选数据标注教师，不是表2的动作评测基线。

表1还比较PixelHelp、MoTIF、UGIF、Meta-GUI、AITW、Mind2Web、AITZ、GUI Odyssey与GUI Odyssey-CoM的数据规模和标注种类；这是数据集属性比较，不表示在这些数据集上全部运行了CoM。

5. 消融、附录与证据限制

表3在Qwen2-VL-72B零样本和Qwen2-VL-7B微调两种条件下，比较动作决策时额外提供哪些信息：无额外信息、仅ScreenInfo、仅STM、仅LTM、STM+LTM、三者都给。ScreenInfo作为生成LTM的中间信息，与把ScreenInfo额外输入动作决策，是两个不同用途。算法1中先抽ScreenInfo来生成LTM，而AgentDecision的输入只有任务、当前截图、STM和LTM；不能把最佳行没有勾ScreenInfo解释成完全删除了屏幕信息提取。

7B微调条件下，上述六组的AMS/SR分别为82.84/19.14、82.42/17.74、83.50/19.50、84.00/20.95、84.25/21.00、82.11/16.30。STM+LTM优于额外再提供ScreenInfo；作者推测后者可能引入冗余干扰，这不是对所有屏幕文字摘要都无益的证明。图4还比较短期记忆长度，正文报告超过4条后收益趋于平缓。

本次核查的arXiv v1全文在§6后进入参考文献，未见附录；标注与评测说明位于正文§4、§5.1。摘要生成与多轮调用墙钟仍需实测，应用内替换策略也可能覆盖后续仍有用的早期事实。

6. 对当前历史信息方案的比较与复现建议

是同任务文字记忆强基线；应在同样近4步窗口和相近token预算下，比较CoM与增加原区域证据回查。重点测同名实体、旧值更新、晚出现需求，不能只看普通点击。

历史证据表明过去发生过什么，不能直接证明当前页面还保持同一状态；本方案应分别验证检索内容、来源归属和状态时效。

核查原文；已读：§3.1–3.4、算法1、§4、§5.1–5.3、表2–3。未阅读实现源码，资源链接存在不等于确认可完整复现。

原文方法图

原文图示与图题。下面直接引用作者图像；解释以上文为准。

原表核查附录

以下保留原表数值、行序与英文方法名称，便于核查；标题与分组行可能在HTML中跨列。各指标含义、测试划分和可比较条件见上面的实验解释，空格不等于0。

原表 1（点击展开）

原表位置

Dataset	#Episodes	#Unique Instructions	#Apps	#Steps	Cross-app	Annotation	Annotation	Annotation	Annotation	Annotation
Dataset	#Episodes	#Unique Instructions	#Apps	#Steps	Cross-app	screen info	action coord	action desc	action thinking	Long-term Memory
screen					Cross-app
info
action
coord
action
desc
action
thinking
Long-term
Memory
PixelHelp Li et al. (2020)	187	187	4	~4		\checkmark
MoTIF Burns et al. (2021)	4707	270	125	4.5			\checkmark
UGIF Venkatesh et al. (2022)	523	480	12	6.3			\checkmark	\checkmark
Meta-GUI Sun et al. (2022)	4684	1125	11	5.3			\checkmark
AITW Rawles et al. (2023)	715142	30378	159	6.5			\checkmark
Mind2Web Deng et al. (2024)	2350	2350	137	7.3			\checkmark
AITZ Zhang et al. (2024b)	2504	2504	70+	7.5		\checkmark	\checkmark	\checkmark	\checkmark
GUI Odyssey Lu et al. (2024)	7735	7735	201	15.4	\checkmark		\checkmark
GUI Odyssey-CoM	7735	7735	201	15.4	\checkmark	\checkmark	\checkmark	\checkmark		\checkmark

原表 1（点击展开）

原表位置

screen
info

原表 1（点击展开）

原表位置

action
coord

原表 1（点击展开）

原表位置

action
desc

原表 1（点击展开）

原表位置

action
thinking

原表 1（点击展开）

原表位置

Long-term
Memory

原表 2（点击展开）

原表位置

Model	FT?	Vision History	Atomic	Atomic	Atomic	Atomic	Atomic	Total	Total	Total
Model	FT?	Vision History	CLICK	TYPE	SCROLL	HOME	STOP	AMS	SR	TSS
Qwen2-VL-7B			11.1	36.85	15.77	4.66	25.12	14.6	0	2.55
+CoM			8.45	41.37	21.71	3.0	8.37	12.71	0	1.25
InternVL2.5-78B			34.63	60.49	6.26	47.34	8.64	33.72	0.31	12.67
+CoM			38.61	67.59	8.94	58.84	27.25	39.38	0.62	30.36
Qwen2-VL-72B			35.39	36.33	16.53	31.08	40.69	33.44	0.36	6.27
+CoM			40.28	54.16	17.08	34.3	61.92	40.18	0.67	18.32
OdysseyAgent			78.72	82.59	77.97	83.3	94.13	79.99	14.43	73.0
Qwen-VL-7b			80.2	82.04	70.3	82.36	91.73	79.98	15.0	72.01
+CoM			81.62	87.21	69.25	85.62	94.03	81.74	18.0	79.4
Qwen2-VL-7b			83.54	82.2	72.4	86.21	94.03	82.84	19.14	75.68
+CoM			84.4	88.15	71.56	88.49	96.16	84.25	21.0	83.97
+CoM*			84.51	86.41	74.78	85.31	95.89	84.22	21.16	81.33

原表 3（点击展开）

原表位置

MODE	Semantic Annotations	Semantic Annotations	Semantic Annotations	Atomic	Atomic	Atomic	Atomic	Atomic	Atomic	Episodic	Episodic
MODE	ScreenInfo	Short-term	Long-term	CLICK	TYPE	SCROLL	HOME	STOP	AMS	SR	TSS
ZS				35.39	36.33	16.53	31.08	40.69	33,44	0.36	6.27
ZS	\checkmark			32.55	38.9	7.49	26.6	58.93	31.85	0.31	7.08
ZS		\checkmark		39.05	47.8	17.0	37.93	51.15	38.28	0.72	18.18
ZS			\checkmark	34.45	44.72	11.69	27.5	43.36	33.18	0.36	6.27
ZS		\checkmark	\checkmark	40.28	54.16	17.08	34.3	61.92	40.18	0.67	18.32
ZS	\checkmark	\checkmark	\checkmark	38.72	45.2	11.4	24.05	67.04	37.22	0.62	13.43
FT				83.54	82.2	72.4	86.21	94.03	82.84	19.14	75.68
FT	\checkmark			83.43	81.82	71.74	83.3	93.97	82.42	17.74	75.15
FT		\checkmark		83.63	83.62	75.43	86.83	95.47	83.5	19.5	82.04
FT			\checkmark	84.24	87.57	74.78	85.49	93.49	84.0	20.95	78.55
FT		\checkmark	\checkmark	84.4	88.15	71.56	88.49	96.16	84.25	21.0	83.97
FT	\checkmark	\checkmark	\checkmark	82.05	85.48	71.45	85.27	95.41	82.11	16.3	79.49