A Task-State Representation for Long-Horizon Mobile GUI Agents

原论文 · 优先级 P0 · 复核日期：2026-09-07

同任务结构化目标/进度/动作后果状态。与研究方案的关系：每步辅助模型比较前后截图更新历史状态；近期工作，必须与小模型摘要方案比较。

0. 摘要

中文转述，非逐句翻译。TSR在固定GUI执行器外面加一个状态更新器，每步比较动作前后截图，把原目标、已完成/剩余子任务和动作验证结论写入结构化状态，再附到执行器输入。它不训练新参数，也没有删掉执行器原有文字历史。

1. 方法动机

近期截图只能显示当前页，过去的模型思考又主要反映意图，不能证明操作成功。长任务容易忘记初始要求、误记完成进度，或因页面更新慢而反复点同一按钮。作者将持续任务状态与短暂页面观察明确分开。

2. 按原文小节解释方法

原文§2.1 Problem Formulation

基线保留最近m张截图和全部历史思考/动作。旧截图被截断后，执行器难以从动作意图推断真实进度。TSR针对这一输入组织缺陷加入额外状态，而非改变点击定位底座。

原文§2.2 Global Task-State Summary

长期摘要保持原始要求及累计进度，防止代理被当前页面带偏。它是统一JSON对象里的一个字段，与另外两种状态联合更新，并非额外独立模型。

原文§2.2 Progress Tracker

把任务拆成原子要求，记录分解项、已完成里程碑、当前子目标、剩余要求。进度要以观察到的结果更新，不能仅因上一步计划写“保存”就打勾。拆得过细也可能使代理逐项检查而超出步数预算。

原文§2.2 Transition-Aware Focus

用动作前后画面检查上一操作有无生效。若不确定，则提出下一步先验证、刷新或等待等关注点，避免对延迟界面盲目重复。它输出建议而不是可靠的环境真值，仍需服从当前实际画面。

原文§2.3 State Update and Actor Injection

初始状态只从任务生成；之后一次状态更新调用同时输入任务、旧状态、上一响应和前后截图，输出全部三类字段。序列化后附到原执行器输入，原思考/动作历史仍在；故不能称固定历史预算或整体压缩方法。

自拟例子：删除收藏但列表未刷新

代理点了删除，旧条目短时仍显示。状态更新器写“删除效果待确认，先刷新核验”，执行器避免再点几次。若后来需要被删除条目的原名称，只有进度状态可能不够，你的历史证据库可保留被删除前的原区域供查询。

3. 模型输入输出与训练/推理分工

状态更新器：任务＋旧状态＋上一动作/思考＋前后两图→JSON状态；Actor：任务＋近期图＋完整文字历史＋状态→下一动作。两种实验中Actor和更新器都用同类Qwen3.5-plus或Kimi-k2.5，温度0；不是论文已验证了3B摘要器。

无SFT/RL，每步额外一次模型调用，更新器最多1024输出token。Actor最多2048输出token，观察窗口为3张近期截图；提高成功率需同时计这次更新延迟与费用。模块都输出文字，没有检索本轮旧图的工具。

4. 实验、指标和原表解释

表1 MobileWorld GUI-only100题：Qwen3.5-plus SR43→55、平均25.1→27.0步；Kimi49→58、29.6→28.3步。AndroidWorld Qwen61.21→57.76反而下降。MemGUI-Memory Qwen23.48→28.70、65.4→64.5步，Kimi37.39→40.87、55.5→60.6步。SR为各在线基准成功判定；步数可因坚持完成困难任务而增加，不应自动当低效。

5. 消融、附录与证据限制

表2 MobileWorld完整55，去摘要50、去进度49、去转移48；AndroidWorld完整57.76，去转移反而63.79，高于基线61.21。论文明确承认状态更新器会传播错误、增加每步调用、对短任务过度分解。附录A–E给任务筛选、动作、模型和完整提示，可据此复现公平外部状态基线；未报告完整组件秒数。

6. 对当前历史信息方案的比较与复现建议

P0。对你的方案最直接的可证差异是：小摘要可能误删或误改事实时，能否用过去原视觉证据纠正状态，而非再加一份更复杂JSON。应设置相同Actor＋同预算更新器，分别比较普通摘要、TSR结构化状态、状态＋整图回看、状态＋局部证据RAG。

历史证据表明过去发生过什么，不能直接证明当前页面还保持同一状态；本方案应分别验证检索内容、来源归属和状态时效。

核查原文；已读：§2.1–2.3、§3.1–3.4、表1–2、Limitations、附录A–E。未阅读实现源码，资源链接存在不等于确认可完整复现。

原文方法图

原文图示与图题。下面直接引用作者图像；解释以上文为准。

原表核查附录

以下保留原表数值、行序与英文方法名称，便于核查；标题与分组行可能在HTML中跨列。各指标含义、测试划分和可比较条件见上面的实验解释，空格不等于0。

原表 1（点击展开）

原表位置

Model	Benchmark	Baseline / (SR)	+Context / (SR)	\Delta SR	Baseline / (Avg steps)	+Context / (Avg steps)
Qwen3.5-plus	MobileWorld	43.00	55.00	+12.00	25.1	27.0
Qwen3.5-plus	AndroidWorld	61.21	57.76	-3.45	12.8	13.9
Qwen3.5-plus	MemGUI-Bench	26.56	28.91	+2.35	60.5	59.8
Qwen3.5-plus	MemGUI-Memory	23.48	28.70	+5.22	65.4	64.5
Qwen3.5-plus	VenusBench-Mobile	15.25	20.34	+5.09	38.7	38.2
Kimi-k2.5	MobileWorld	49.00	58.00	+9.00	29.6	28.3
Kimi-k2.5	AndroidWorld	51.72	55.17	+3.45	15.5	15.8
Kimi-k2.5	MemGUI-Bench	42.19	42.97	+0.78	51.6	55.8
Kimi-k2.5	MemGUI-Memory	37.39	40.87	+3.48	55.5	60.6
Kimi-k2.5	VenusBench-Mobile	22.03	26.27	+4.24	41.2	38.3

原表 2（点击展开）

原表位置

Method / Baseline	MobileWorld / 43.00	AndroidWorld / 61.21
+Context w/o summary	50.00	59.48
+Context w/o tracker	49.00	61.21
+Context w/o transition	48.00	63.79
+Context full	55.00	57.76

原表 3（点击展开）

原表位置

Action	Parameters	Scope
click	coordinate [x,y]	All
double_tap	coordinate [x,y]	All
long_press	coordinate [x,y]	All
drag	start, end coords	All
input_text	text string	All
answer	text string	All
navigate_home	—	All
navigate_back	—	All
scroll	direction	All
status	complete/infeasible	All
wait	—	All
keyboard_enter	—	All
open_app	app name	AW
swipe	direction	AW

原表 4（点击展开）

原表位置

Parameter	Actor \pi_{\theta}	Updater \mathcal{U}_{\phi}
Temperature	0.0	0.0
Max output tokens	2048	1024
Obs. window m	3	2 (pre + post)
Model-specific
Scale S (Qwen3.5-plus)	1000	1000
Scale S (Kimi-k2.5)	1	1
API	Bailian	Bailian