GUI-PRA: Process Reward Agent for GUI Tasks
GUI-PRA turns candidate-action evaluation into an active evidence-gathering process, with materially different memory designs across versions.
Problem
A static reward model can overlook relevant history or judge an action without inspecting the small interface detail that determines whether it is correct.
Contributions
The v1 design combines recent history, progressive summaries, and UI inspection; v3 adds a retrieved library of verification principles and explicit evidence criteria.
Method
In v1, the stated retrieval formula retains the latest m thought/action/observation tuples and progressively summarizes older material; it is not semantic search over distant historical screenshots.
In v3, an offline meta-judge derives verification principles from other tasks, and the online judge retrieves relevant principles to establish what must be checked.
The judge then uses tools such as ZoomIn, Point, and OmniParser to fill evidence gaps before scoring candidate actions; candidate generation and inspection add model calls.
Evaluation
In v3, Qwen3-VL-8B improves from 47.60% to 54.74% AndroidWorld success and from 59.78% to 65.22% on Mobile-MiniWoB++; these results must not be attributed to v1's memory module.
The v3 AndroidWorld ablation drops from 54.74% to 51.72% without the principle library and 50.00% without tools; separate OS-Critic classification results use different metrics.
详细阅读笔记 · SUP-A19
本笔记保留阅读时的论文版本、来源与实验边界。文中“你的方案／当前方案”等比较反映当时的讨论；当前研究方向见分类页。自拟例子与复现建议不是作者实验结果。
原论文 · P0 · 评判代理的历史摘要与主动视觉取证。核查日期：2026-09-07。
0. 摘要
GUI-PRA把过程奖励模型变成会主动取证的动作评判代理。必须区分版本：2025年v1/v2强调近期历史＋渐进摘要及UI工具；2026-08-30的v3改为经验原则库、验证标准和主动视觉调查。两版属于同一arXiv条目，不能把旧方法段与新实验表直接拼接。
1. 方法动机
普通PRM拿一长串历史和候选动作静态打分，可能忽略重要过去，也看不清小控件。GUI-PRA让评判者整理上下文并调用视觉工具。它主要评判候选而非单独决定并执行全部动作。
2. 方法设计
v1原文3.1：Dynamic Memory到底检索了什么
所谓Relevance-based Retrieval公式实际保留最近m个思考—动作—观察元组。较早部分由模型渐进概括成一句历史说明。名字听起来像语义RAG，但公式不是从很远的历史库按内容搜top-k。因此可作为“近期原始窗口＋早期摘要”基线，不能声称它已做图标原图语义召回。
v1原文3.2–3.3：先补看界面，再给候选评分
评判者调用OmniParserV2读取全局控件，也可用Point等工具看局部并定位。随后结合压缩历史、视觉取证结果、候选动作和先前评分进行Best-of-N选择。自拟例子：候选是点击三个相似按钮，评判者先看局部标识确认哪个对应目标，再选择执行。它增加评判与取证调用，不是只把大图变小一次。
v3原文4.2：原则库指导“检查什么”
离线从其他分布任务的成功/失败轨迹抽样，强Meta-Judge比较并提炼验证原则，经聚类整合为库。在线对当前任务、状态和候选检索相关原则，形成明确的检查标准。这里RAG主要取的是可迁移验证原则，不是本次任务某张旧截图的像素证据。
v3原文4.3–4.4：按缺口主动收集证据
评判者根据标准找仍未验证的点，逐步调用ZoomIn、Point、OmniParser等工具，更新证据链，最后依据证据打分。即“要检查什么”与“如何看清”分开。当前控件的小区域取证和历史图像召回在对象上不同。
3. 模型与训练边界
v3主要采用冻结基础模型、离线原则提炼和在线监督，不可把经验构建称为无需任何额外数据/计算。动作候选生成和评判可用相同底座，但有多次调用。若正确动作不在候选集合中，再好的评判也难以挽救，作者对困难任务结果亦作此分析。
4. v3结果单独看
表1 Qwen3-VL-8B在AndroidWorld：基础47.60、普通PRM49.57、GUI-PRA54.74；Mobile-MiniWoB++分别59.78、59.78、65.22。是在线任务SR。表3同AndroidWorld完整54.74，去原则库51.72，去工具50.00。它表明原则与主动取证都有作用，不能归给v1的历史摘要组件。
离线OS-Critic子集另报判断Accuracy/F1，Perceval-3B迁移F1由55.58到62.67，但Precision由55.96降54.73；不能只引用召回提高。在线成功和离线判别是两套评价。
5. 来源、附录与方案关系
已下载v1原PDF与v3原PDF。本轮未取得完整HTML，原图与表可在本地PDF查：v1方法图2为第4页，v3方法图2为第3页。OpenReview出现的“under review”不是录用证明。
v1原文图2及历史公式所在页；v3主要在线结果表所在页；v3消融及离线转移结果所在页。图表保持各自版本，不混算收益。
P0取证框架对照：需区别评估当前候选所需的视觉观察，和找回同任务旧事实的记忆。若你的新系统也让主模型按缺口调用局部查看工具，要比较最简单的近期窗口＋摘要策略，并把额外评判/取证开销算进去。
7. 来源与核查范围
未取得可解析的原文HTML图表；本卡明确区分已核全文、PDF或仅官方摘要的证据范围。
Open this note in the interactive notebook (comments, hooks) → · All notes