HiconAgent: History Context-aware Policy Optimization for GUI Agents

0. 摘要

中文摘要转述，非逐句译文；未确认原始摘要允许完整翻译的开放许可。

HiconAgent通过训练改善GUI模型的历史利用：采样时提供不同长度历史，更新时同时训练完整与压缩两条分支，并让压缩分支对齐完整分支。压缩发生在语言模型前几层融合之后：保留历史动作和当前画面，删除历史画面token，以降低后续层计算并保留行为线索。

1. 方法动机

固定历史长度不能适配所有步骤，太短丢线索，太长增加计算和干扰。简单一开始就去掉历史图像又可能让动作文字缺少视觉含义。

作者分析发现，前几层交互后历史动作token可以承载部分视觉信息，因此可以先融合、再保留动作删旧图。训练中还应让模型见过不同长度历史，避免完全依赖某一种固定观察条件。

2. 方法设计

原文图4，来源：HiconAgent §5。左边用不同长度的历史生成候选，右边用同一批候选训练完整和压缩两条路径。以下以“订票时填写目的地 Delhi”为自拟例子。

原文5.1：Dynamic Context Sampling——用不同长度的历史练习同一道题

作者改变训练时模型能看到的历史，让它学会在信息多或少时都能做决定。 假设当前画面是城市输入框，前一步点开输入框，前两步的页面出现了目的地 Delhi。训练程序为同一个当前步骤准备三种输入：只看当前页、再加前一步、再加前两步；每种历史都由过去的截图和动作文字组成。模型在这些输入下生成共8个候选，例如输入 Delhi、输入另一座城市，或又去点击输入框。

程序用标准动作给候选打分，再比较这一组中谁做得较好。训练早期，0、1、2步历史大致等概率；后期逐渐偏向2步历史，因为作者发现一直均匀抽样会使短历史候选的质量退化。更新参数时，候选会统一配回完整的2步历史重新计算输出概率。 因此这是一种训练办法，正式使用时没有额外的“历史规划器”替每道题挑窗口长度。

原文5.2：Anchor-guided History Compression——先读旧图，再把线索留在动作表示里

旧截图先参与前6层计算，随后被删除；历史动作、当前截图和任务文字继续进入后面的层。 “点击目的地输入框”这条动作记录，起初只是文字；它与当时的截图一起经过注意力计算后，对应的内部向量可以带上“点的是哪个框、之前看到了什么”等信息。作者把这种能继续传递历史线索的动作表示称为“锚点”。这里没有生成一份可见的摘要，也没有把旧图片存入跨步骤缓存。

训练时，同一个模型走两遍：一遍保留全部旧图，一遍在第6层后删除旧图。两遍都对刚才生成的同一候选动作计算学习信号；另加一项约束，让压缩路径对“输入 Delhi”等输出的概率接近完整路径。完整路径提供对齐目标时停止梯度，但仍由自己的强化学习目标更新。这样压缩路径要练习：少了后续层的旧图，仍尽量做出完整输入时的正确决定。 正式推理只走压缩路径，一次生成一个动作；视觉编码器和前6层依然要处理历史截图。

原文5.3：Reward Design——把“做对了什么”拆开评分

奖励程序检查输出格式、动作种类和动作内容，再把总分转成同组候选的相对优劣。 例如标准动作是输入 Delhi：格式合法得一项分，输出的是输入动作得一项分，输入文字与标准文字的F1超过0.5再得一项分。F1衡量预测文字与标准文字的重合程度；滚动则要求方向完全一致，点击则根据预测点到标准点的距离给连续奖励，越近分越高。

高于组内平均水平的候选更值得鼓励，低于平均的候选受到压低；更新同时限制概率变化幅度，避免一次改得过猛。训练依据的是标注动作是否匹配，奖励没有直接计算真实任务耗时。标准答案只在训练评分时可见，使用模型时输入的是任务、历史和当前截图。

3. 与其他方法对比

贡献是不同历史条件下的训练与动作承载信息的压缩方式。适合自部署、能改语言模型前向过程的GUI定位或动作模型；不能直接用在只提供黑箱API的代理。

4. 实验表现与优势

原文6.1：测试什么，怎样计分

作者从AMEX按原动作分布抽取3,000个步骤训练，用AndroidControl-High、AITW和GUI-Odyssey的测试集检查跨数据集泛化。测试单位是一个已有轨迹中的动作步骤：给任务指令、当前截图及最多2步历史，预测下一动作，再与该步骤的人工标注比较。AndroidControl-High给的是整个任务的高层要求；GUI-Odyssey含跨应用流程，历史依赖更强。这里的分数不等于让模型从头操作手机后完成整个任务的比例。§6.1及附录C

奖励中的F1阈值和点击距离用于训练；原文没有证明它们与每个测试集的判分细则完全相同，因此这里分开解释。

原文6.2：与哪些模型比较，改善在哪里

表1比较同规模训练设置下的监督微调、GUI-R1强化微调和HiconAgent。以下全部是百分比；表中的GUI-R1采用强化微调版本。

最明显的提升出现在GUI-Odyssey：相比7B的GUI-R1，3B的HiconAgent单步SR提高11.32个百分点。AndroidControl只提高0.73个百分点，定位还略低0.05个百分点。说明收益随任务变化，不能概括为各项均大幅领先。表1

表2扩展到不同训练数据量的模型。HiconAgent在AndroidControl、AITW、GUI-Odyssey上的SR分别为52.40%、51.91%、50.11%，三项平均51.47%；GUI-R1-7B平均48.59%，其中AITW为55.31%，高于HiconAgent。表2还标出其他模型的同分布／分布外设置，训练数据和测试暴露程度不完全相同，适合作为横向背景，不能全部归因于本文组件。

原文6.3：采样、双分支与删除位置分别有没有用

表3固定压缩训练，比较历史采样方式。一直使用2步历史，AndroidControl SR为51.03%，训练17小时；均匀抽0–2步但只在2步上下文更新，为50.53%、17小时；让三种上下文都参加更新，为51.62%、30小时；逐渐偏向长历史的本文策略为52.40%、17小时。因此改进来自采样安排，并不是多算所有历史版本才获得。

表4逐个加回组件，所有方案推理都启用压缩。AndroidControl／AITW／GUI-Odyssey的SR从“只训练压缩路径”的44.89／45.62／43.21，提高到“双路径但不对齐”的48.70／49.23／47.09，再到“加对齐”的51.03／50.78／48.68，最后加动态历史采样达到52.40／51.91／50.11。这个实验比与7B模型横比更直接地说明三项设计各自有贡献。

表5研究未经过完整HCPO补偿的基础模型在第几层删图更合适。不删图为35.75T FLOPs、SR52.29%；第1层后删图为23.66T、46.11%；第6层后删图为25.21T、47.34%；第12层后删图为27.07T、47.89%。越早删除越省计算，也更容易损失精度。第6层的序列统计由1,664降至674个token，不表示视觉编码器从一开始就只处理674个token。

“2.47倍”是7B基线62.31T除以25.21T的计算量比。 同一个3B模型的计算量减少29.47%；相对7B减少59.54%。正文倍数旁的分母写成35.75，与表5不一致，按表格应为25.21。论文没有给出可据此直接换算的实测推理秒数。表3–5

原文4节的诊断实验，以及附录实验

方法前的图2固定模型，给同一样本0、1、2步历史，各生成8次，比较平均奖励；排除奖励差小于0.05的样本后观察各样本最适合的历史长度。它检验“更多历史是否总是更好”，并没有训练一个在线选择器。图3在不同层分别删除历史动作、历史图像或两者，用AndroidControl单步SR比较；浅层删动作损失更大，支持先保留动作作为信息传递载体。

附录D表6专门控制历史输入，避免把“加历史”和“学会压缩”混为一谈：只给2步动作的基础3B，SR43.33%、13.21T；加上对应截图，SR52.29%、35.75T；直接删旧图，SR47.34%、25.21T；再采用HiconAgent训练，恢复到SR52.40%、25.21T。也就是说，训练弥补了大部分直接压缩造成的损失。表6定位65.01%与正文表1的65.51%存在差异，原文未解释，两表不混用。

附录A图8比较有无动态采样的训练准确率曲线；附录B图9展示采样概率怎样随训练变化，属于训练过程分析。附录G比较同一个例子在0、1、2步历史下的输出，附录H给成功轨迹；正文图6、7也提供历史使用案例和按动作类别的准确率。它们辅助解释行为，不能当作额外的完整任务成功率。附录E、F分别是算法和提示模板，没有新增独立测试分数。

总体证据支持“在两步历史设置下改善离线动作预测，并降低模型运算量”。无限长历史、真实手机连续任务的总耗时和错误累积，仍不在这些结果的证明范围内。

5. 学习与应用

作者页脚给出HiconAgent项目，原HTML链接与邮箱串接，本处恢复其中清楚的仓库地址，未读取源码。

原文Qwen2.5-VL-3B，历史窗口2、默认删除层6、最大像素1,003,520、每图最多512token；全局及采样批64、8条候选、学习率0.000001、温度1.0、提示和响应各上限2048。实现需检查删除后位置编码与注意力掩码，并在完整分支对齐目标上停止梯度。

可迁移到网页和多帧视觉动作预测；先测旧图信息能否稳定转入保留动作token。用于速度研究应在同一3B模型、同一硬件实测，而不是以7B FLOPs基准替代真实延迟，也要把视觉编码和前6层成本计入。

6. 总结

核心思想：先融合历史再保留动作删旧图

速记流程：用不同历史生成候选 → 前几层融合图像与动作 → 删除旧图保留动作 → 对齐完整输入决策 → 压缩推理

来源与核查：原论文 2512.01763v2；本轮核读§4的历史诊断、§5.1–5.3方法、§6.1–6.3实验，正文表1–5及附录A–H（含表6的历史／压缩对照）。已检查本节所用作者方法图；自拟例子已在相应位置说明。未读取实现源码。