UI-Copilot: Advancing Long-Horizon GUI Automation via Tool-Integrated Policy Optimization
UI-Copilot learns when to request historical facts or executable arithmetic from a smaller auxiliary model.
Problem
Long GUI tasks require both progress tracking and detailed facts or calculations that compact execution context may omit.
Contributions
The framework decouples persistent observations from short working context and trains selective retrieval and calculator use.
Method
Detailed observations and reasoning are written to an external knowledge file while a short progress summary remains in the policy input.
The policy can call a Qwen3-4B retriever or a calculator that generates Python for an interpreter, then uses the returned text to decide an action.
Tool-Integrated Policy Optimization separates single-turn tool-choice learning from multi-turn action learning on generated summaries.
Evaluation
UI-Copilot-7B reports 16.4% pass@1 and 20.3% pass@3 on the full MemGUI-Bench, and 39.1% task success on AndroidWorld.
Workflow ablations use validation subsets and count tool calls as steps; they do not establish full-task wall-clock savings.
详细阅读笔记 · Y26-090
本笔记保留阅读时的论文版本、来源与实验边界。文中“你的方案／当前方案”等比较反映当时的讨论；当前研究方向见分类页。自拟例子与复现建议不是作者实验结果。
原论文 · 优先级 P0 · 复核日期：2026-09-07
与当前研究的关系：4B辅助模型按需读历史知识，与你的小模型摘要＋RAG极近。用户当前重心为同一任务的历史信息，跨任务经验另列条件，不能把两种记忆的收益混合。
0. 摘要
摘要完整译文（arXiv v1；CC BY 4.0；原摘要）。以下保留作者摘要的主张；译文按同一许可提供。
基于多模态大语言模型的GUI代理在复杂用户界面交互任务中展现了较强能力。然而，长程场景仍然困难，因为这些代理被要求处理超出其内在能力的任务，导致记忆退化、进度混淆和数学幻觉。为解决这些问题，我们提出UI-Copilot，一个协作框架：GUI代理专注于任务执行，轻量辅助模型按需提供记忆检索和数值计算支持。我们引入记忆解耦，将持久观察与临时执行上下文分开，并训练策略代理根据任务需求，有选择地以检索器或计算器角色调用辅助模型。为有效学习工具调用，我们提出工具集成策略优化TIPO，通过单轮预测优化工具选择，通过基于当前策略的多轮生成优化任务执行。实验表明，UI-Copilot-7B在具有挑战性的MemGUI-Bench上达到先进水平，超过GUI-Owl-7B和UI-TARS-1.5-7B等较强7B规模GUI代理。此外，UI-Copilot-7B在AndroidWorld上相对基础Qwen模型取得17.1个百分点的绝对提升，表明其对真实GUI任务具有较强泛化能力。
1. 方法动机
跨应用任务既要知道“已经做到了哪里”，又可能要记住早先看过的价格、名称和数值。持续拼接完整思考会挤占上下文，单纯删除历史又会丢掉后续计算和比较需要的信息。
论文将进度跟踪与细节保存分开：主模型持续看到短摘要，只有需要历史事实或算术时才调用辅助模型。相比每步都运行多代理，工具调用由策略自己选择；其难点是既训练正确动作，又学会在适当时机检索，而不是机械增加一个摘要模块。
2. 方法设计
§3.1 Rollout Paradigm
定义可选辅助工具。 主策略从截图、任务和历史生成工具选择、思考、动作及摘要，工具可为检索、计算或不调用。实验主策略基于Qwen2.5-VL，辅助模型为Qwen3-4B，辅助结果以文本回到当轮决策。
§3.1 Memory Decoupling
分开两种记忆。 下一轮对话保留上一轮动作和简短完成状态；完整思考及显式观察写入本地知识文件。这样减少的是主策略输入中的详细历史，外部记忆仍随交互增长，并非所有历史信息被压缩成固定长度。
§3.1 检索与计算工具
按需恢复细节或执行计算。 检索器读取知识、任务和进度摘要，返回相关事实；计算器根据任务与摘要生成Python代码，交给解释器执行后返回结果。计算工具借助真实执行处理算术，检索工具仍依赖辅助模型解释历史。
§3.2 Dataset Curation
从专家轨迹构造训练。 以AndroidControl轨迹为基础，用GPT-4o补充工具调用、推理和摘要，并构造需要记忆或计算的查询。先做行为与格式SFT，再进入工具和动作的分开采样训练；训练时不实际调用辅助模型。
§3.3 Tool Call / Action Prediction Learning
分别学习工具选择和多轮动作。 工具样本用专家摘要进行单轮选择，奖励由格式0.1和工具正确性0.9组成。动作样本使用自己生成的历史摘要滚动预测，奖励依次检查格式、动作类型和参数，权重为0.1、0.4、0.5。
§3.3 Tool-Integrated Policy Optimization
用未来回报更新当前输出。 多轮动作奖励折扣累计，再在每组8次采样中归一化优势，进行带裁剪与KL约束的策略优化。动态采样要求优势方差超过设定阈值0.3，以避免整组缺乏区分度；工具与动作数据共同训练同一主策略。
自拟例子：把记忆在什么时候使用讲清楚
先看三个套餐的价格，后来需要计算总价。主模型摘要只保留进度，按需问4B检索器找具体值。你的差异应是返回值连同页面原图证据，并检查值是否仍有效。
模型输入、输出与记忆边界
| 项目 | 本文实际范围 |
|---|---|
| 记忆来源 | 同任务短摘要＋外存细节按需检索 |
| 与本方案相同或不同 | 4B辅助模型按需读历史知识，与你的小模型摘要＋RAG极近 |
| 应固定的对照条件 | 必须比较文本细节检索与原始局部图像回查、固定调用与按需调用、训练选择器与提示选择器。 |
训练、模型规模、具体输入输出及调用次数见各方法小节；没有查明的参数不填入建议值冒充原文默认值。
3. 与其他方法对比
| 比较方式 | 记忆与调用行为 | 具体取舍 |
|---|---|---|
| 动作—思考历史 | 持续保留思考文本 | 信息直接可见，长程容易拥挤 |
| 仅多轮摘要 MS | 保留完成状态 | 上下文简短，历史细节可能不足 |
| 每步多代理工作流 | 每轮固定调用辅助模型 | 支持复杂处理，但调用频率高 |
| UI-Copilot | 短进度＋外部细节＋可选工具 | 学习调用时机，增加训练与外部记忆管理 |
4. 实验表现与优势
MemGUI-Bench 全集上7B模型达到 pass@1 16.4%、pass@3 20.3%。AndroidWorld与MiniWob++主结果分别为39.1%和61.2%；这些是任务成功率，不能与验证子集消融直接互换。§4.2、表1–2
图6在MemGUI-Bench和AndroidWorld验证子集比较推理组织：双工具摘要模式的平均准确率为 51.5%、16.6步，图中首行固定协作工作流为 46.9%、30.6步；这里步骤明确包括工具调用。纯摘要模式为38.0%、15.9步，加入工具提高成功率但不一定减少相对于无工具的步骤。图6
训练消融支持工具学习和动作学习各自必要，并选取600:2000的动作/工具训练规模组合。论文报告步骤与调用频率，未提供完整任务墙钟延迟；检索和生成计算代码本身仍有额外成本。图7、§4.3–4.4
5. 学习与应用
本轮从论文未确认代码或模型发布链接，不据此判断作者未开源。附录训练设置为8张A100、50个训练步、每批16个提示、每提示8次生成、最大学习响应12288 tokens、学习率1e-6。
复现建议先固定同一策略，比较完整历史、仅摘要、摘要加检索三种输入，专门检查“摘要没写但后续需要”的事实能否恢复。随后加入计算工具，记录检索准确性、工具调用率、每轮主模型输入和总耗时，避免把更少GUI步骤误算成更快任务。
6. 总结
核心思想：短摘要跟进度细节按需取 速记流程：保存进度→外存细节→按需检索计算→继续操作
来源与核查：原论文，已读 §3.1–3.3、§4.2–4.4、图6–7及附录D.1；采用实际图题定位消融。
对“历史摘要＋局部视觉证据回查”的具体启发
必须比较文本细节检索与原始局部图像回查、固定调用与按需调用、训练选择器与提示选择器。
不能把检索到的旧图片直接当作当前可点击坐标。历史图可证明过去出现过什么；当前动作的位置和状态必须由当前观察核验。研究评估需区分过去事实回忆正确、当前状态有效和最终动作正确三个环节。
原文方法图
原文图示与图题。下面直接引用作者图像；解释以上文为准。
原表核查附录
以下保留原表数值、行序与英文方法名称，便于核查；标题与分组行可能在HTML中跨列。各指标含义、测试划分和可比较条件见上面的实验解释，空格不等于0。
原表 1（点击展开）
| — | — | #Cross App | #Cross App | #Cross App | #Cross App | #Cross App | #Cross App | #Cross App | #Cross App | Difficulty Level | Difficulty Level | Difficulty Level | Difficulty Level | Difficulty Level | Difficulty Level | — | — |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Models | Type | 1 App | 1 App | 2 App | 2 App | 3 App | 3 App | 4 App | 4 App | Easy | Easy | Med | Med | Hard | Hard | Avg | Avg |
| p@1 | p@3 | p@1 | p@3 | p@1 | p@3 | p@1 | p@3 | p@1 | p@3 | p@1 | p@3 | p@1 | p@3 | p@1 | p@3 | ||
| CogAgent | AO | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 |
| Qwen2.5VL-7B* | AT | 14.3 | 17.9 | 1.8 | 1.8 | 0.0 | 0.0 | 0.0 | 0.0 | 10.4 | 12.5 | 0.0 | 0.0 | 0.0 | 0.0 | 3.9 | 4.7 |
| UI-Venus-7B | AT | 21.4 | 28.6 | 1.8 | 1.8 | 0.0 | 2.9 | 0.0 | 0.0 | 14.6 | 20.8 | 0.0 | 0.0 | 0.0 | 0.0 | 5.5 | 7.8 |
| UI-S1-7B* | MC | 17.9 | 21.4 | 3.6 | 3.6 | 0.0 | 0.0 | 0.0 | 0.0 | 12.5 | 14.6 | 2.6 | 2.6 | 0.0 | 0.0 | 5.5 | 6.2 |
| UI-TARS-1.5-7B | MC | 14.3 | 21.4 | 0.0 | 1.8 | 0.0 | 2.9 | 0.0 | 0.0 | 8.3 | 16.7 | 0.0 | 0.0 | 0.0 | 0.0 | 3.1 | 6.2 |
| GUI-Owl-7B | MC | 21.4 | 35.7 | 1.8 | 1.8 | 2.9 | 5.9 | 0.0 | 0.0 | 14.6 | 22.9 | 0.0 | 2.4 | 2.6 | 2.6 | 6.2 | 10.2 |
| UI-Copilot-7B * | TC | 42.9 | 50.0 | 12.5 | 16.1 | 5.9 | 8.8 | 0.0 | 10.0 | 29.2 | 33.3 | 13.2 | 18.4 | 4.8 | 7.1 | 16.4 | 20.3 |
| Mobile-Agent-V2 | MW | 14.3 | 17.9 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 8.3 | 10.4 | 0.0 | 0.0 | 0.0 | 0.0 | 3.1 | 3.9 |
| SeeAct | MW | 10.7 | 25.0 | 0.0 | 0 | 0.0 | 0 | 0.0 | 0 | 6.2 | 12.5 | 0.0 | 2.4 | 0.0 | 0.0 | 2.3 | 5.5 |
| AppAgent | MW | 14.3 | 42.9 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 8.3 | 22.9 | 0.0 | 2.4 | 0.0 | 0.0 | 3.1 | 9.4 |
| Mobile-Agent-E | MW | 25.0 | 42.9 | 0.0 | 1.8 | 0.0 | 0.0 | 0.0 | 0.0 | 12.5 | 22.9 | 2.4 | 2.4 | 0.0 | 2.6 | 5.5 | 10.2 |
| T3A | MW | 42.9 | 60.7 | 16.1 | 37.5 | 23.5 | 38.2 | 0.0 | 30.0 | 31.2 | 45.8 | 16.7 | 45.2 | 18.4 | 34.2 | 22.7 | 42.2 |
| M3A | MW | 46.4 | 64.3 | 28.6 | 41.1 | 29.4 | 44.1 | 30.0 | 50.0 | 39.6 | 47.9 | 35.7 | 50.0 | 21.1 | 44.7 | 32.8 | 47.7 |
| Agent-S2 | MW | 50.0 | 78.6 | 19.6 | 35.7 | 26.5 | 52.9 | 10.0 | 30.0 | 41.7 | 64.6 | 19.0 | 42.9 | 18.4 | 36.8 | 27.3 | 49.2 |
原表 2（点击展开）
| Models | AC-High | AC-High | AC-High | GUI Odyssey | GUI Odyssey | GUI Odyssey | AC-Real | AC-Real | Wob | AW | Avg |
|---|---|---|---|---|---|---|---|---|---|---|---|
| TM | GR | SR | TM | GR | SR | PG | TSR | SR | SR | SR | |
| Closed-source Models | |||||||||||
| Claude-CU (SoM) ( Anthropic, 2024 ) | 63.7 | 0.0 | 12.5 | 60.9 | 0.0 | 3.1 | – | – | – | 27.9 | – |
| GPT-4o (SoM) ( Hurst et al., 2024 ) | 66.3 | 0.0 | 20.8 | 34.3 | 0.0 | 3.3 | – | – | 62.0 | 34.5 | – |
| Open-source Models | |||||||||||
| Qwen2VL-2B ( Wang et al., 2024b ) | 42.3 | 18.7 | 13.6 | 24.4 | 12.2 | 12.6 | 2.0 | 1.0 | 20.8 | 0.0 | 7.3 |
| ShowUI-2B ( Lin et al., 2024 ) | 41.8 | 32.8 | 19.7 | 34.8 | 24.6 | 21.4 | 6.8 | 2.6 | 27.1 | 7.0 | 11.7 |
| OS-Genesis-7B ( Sun et al., 2024 ) | 65.9 | – | 44.4 | 11.7 | – | 3.6 | 7.6 | 3.0 | 19.8 | 17.4 | 13.4 |
| OS-Atlas-7B ( Wu et al., 2024 ) | 57.4 | 54.9 | 29.8 | 60.4 | 39.7 | 27.0 | 14.3 | 8.6 | 35.2 | 12.1 | 18.6 |
| Qwen2.5VL-3B ( Bai et al., 2025 ) | 47.8 | 46.5 | 38.9 | 37.4 | 26.5 | 26.7 | 3.4 | 1.4 | 24.1 | 5.0 | 10.2 |
| Qwen2.5VL-7B ( Bai et al., 2025 ) | 62.2 | 72.5 | 52.7 | 67.4 | 56.3 | 52.4 | 17.4 | 9.8 | 54.0 | 22.0 | 28.6 |
| UI-R1-3B ( Lu et al., 2025b ) | 57.9 | 55.7 | 45.4 | 52.2 | 34.5 | 32.5 | 8.4 | 4.1 | 26.1 | 8.2 | 12.8 |
| UI-R1-7B ( Lu et al., 2025b ) | 72.4 | 62.8 | 54.2 | 67.1 | 41.3 | 43.5 | 16.9 | 10.8 | 45.2 | 15.1 | 23.7 |
| AgentCPM-GUI-8B ( Zhang et al., 2025b ) | 77.7 | – | 69.2 | 90.8 | – | 75.0 | 17.1 | 10.6 | 37.8 | 16.4 | 21.6 |
| UI-S1-7B ( Lu et al., 2025c ) | 79.9 | 73.4 | 68.2 | 76.3 | 61.7 | 59.5 | 32.4 | 16.3 | 60.9 | 34.0 | 37.1 |
| UI-TARS-7B ( Qin et al., 2025 ) | 83.7 | 80.5 | 72.5 | 94.6 | 90.1 | 87.0 | 28.1 | 14.0 | 58.7 | 33.0 | 35.2 |
| Ours Models | |||||||||||
| UI-Copilot-3B | 64.3 | 54.5 | 50.3 | 52.4 | 36.8 | 35.8 | 15.6 | 6.9 | 25.9 | 15.7 | 16.2 |
| UI-Copilot-7B | 82.9 | 72.2 | 71.8 | 74.5 | 63.8 | 57.2 | 31.5 | 15.8 | 61.2 | 39.1 * | 38.7 |
原表 4（点击展开）
| Method | \mathcal{M}_{c} / Cal | \mathcal{M}_{c} / Ret | MemGUI-Bench* / Acc(%) \uparrow | MemGUI-Bench* / step \downarrow | AndroidWorld* / Acc(%) \uparrow | AndroidWorld* / step \downarrow | Avg / Acc(%) \uparrow | Avg / step \downarrow |
|---|---|---|---|---|---|---|---|---|
| MW | ✓ | 25.5 | 33.4 | 68.3 | 27.8 | 46.9 | 30.6 | |
| MW | ✓ | 21.8 | 35.2 | 53.3 | 25.0 | 37.5 | 30.1 | |
| AT | 9.1 | 20.3 | 35.0 | 13.0 | 22.1 | 16.6 | ||
| MC | 10.9 | 19.5 | 58.3 | 14.4 | 34.6 | 16.9 | ||
| MS | 10.9 | 18.7 | 65.0 | 13.1 | 38.0 | 15.9 | ||
| MS | ✓ | 20.0 | 19.4 | 66.7 | 13.4 | 43.4 | 16.4 | |
| MS | ✓ | 21.8 | 20.1 | 67.3 | 14.0 | 44.5 | 17.1 | |
| MS | ✓ | ✓ | 36.4 | 19.3 | 66.7 | 13.8 | 51.5 | 16.6 |
| Copilot Model | Copilot Model | Copilot Model | ||||||
| UI-Copilot-7B | UI-Copilot-7B | UI-Copilot-7B | 23.6 | 20.8 | 51.7 | 15.3 | 37.7 | 18.0 |
| Qwen2.5VL-7B | Qwen2.5VL-7B | Qwen2.5VL-7B | 30.9 | 21.2 | 53.3 | 14.2 | 42.1 | 17.7 |
| Qwen3-0.6B | Qwen3-0.6B | Qwen3-0.6B | 27.3 | 19.9 | 63.3 | 13.9 | 45.3 | 16.9 |
| Qwen3-1.7B | Qwen3-1.7B | Qwen3-1.7B | 30.9 | 19.5 | 61.7 | 13.6 | 46.3 | 16.6 |
| Qwen3-4B | Qwen3-4B | Qwen3-4B | 36.4 | 19.3 | 66.7 | 13.8 | 51.6 | 16.6 |
原表 4（点击展开）
| Tool / Acc \uparrow | AC-Real / PG \uparrow | AC-Real / TSR \uparrow | Avg / Acc \uparrow | SFT | RL / Tool | RL / Action |
|---|---|---|---|---|---|---|
| 73.6 | 17.4 | 9.88 | 33.6 | |||
| 86.4 | 17.6 | 10.1 | 38.0 | ✓ | ||
| 94.4 | 16.8 | 9.95 | 40.4 | ✓ | ✓ | |
| 91.2 | 28.6 | 14.1 | 44.6 | ✓ | On-policy | |
| 83.6 | 32.4 | 16.5 | 44.2 | ✓ | On-policy | |
| 86.2 | 22.6 | 10.3 | 39.7 | ✓ | Off-policy | |
| 95.6 | 21.5 | 10.2 | 42.4 | ✓ | ✓ | Off-policy |
| 95.0 | 31.0 | 16.1 | 47.4 | ✓ | ✓ | On-policy |
| |\mathcal{D}^{\text{RL}}{\text{action}}|:|\mathcal{D}^{\text{RL}}{\text{tool}}| | |\mathcal{D}^{\text{RL}}{\text{action}}|:|\mathcal{D}^{\text{RL}}{\text{tool}}| | |\mathcal{D}^{\text{RL}}{\text{action}}|:|\mathcal{D}^{\text{RL}}{\text{tool}}| | ||||
| 91.0 | 30.8 | 15.8 | 45.9 | 200:600 | 200:600 | 200:600 |
| 91.2 | 31.5 | 16.3 | 46.3 | 300:1000 | 300:1000 | 300:1000 |
| 95.6 | 29.8 | 15.2 | 46.9 | 600:1000 | 600:1000 | 600:1000 |
| 95.0 | 31.0 | 16.1 | 47.4 | 600:2000 | 600:2000 | 600:2000 |
| 93.4 | 31.3 | 16.2 | 47.0 | 600:2400 | 600:2400 | 600:2400 |
原表 3（点击展开）
| Action Type | Description |
|---|---|
| click | Tap a specific coordinate (x,y) on the screen. |
| long_press | Press and hold at (x,y) for a specified duration. |
| swipe | Perform a swipe gesture from (x_{1},y_{1}) to (x_{2},y_{2}) . |
| answer | Output a textual answer to the task. |
| type | Enter text into the currently focused input field. |
| system_button | Trigger a system-level button (e.g., Home, Back). |
| open | Launch an APP on the device. |
| wait | Pause execution for a given number of seconds to allow UI changes. |
| terminate | Stop execution and report task success or failure. |
原表 4（点击展开）
| Models | ScreenSpot | ScreenSpot | ScreenSpot | AC-Low | AC-Low | AC-Low | AC-High | AC-High | AC-High | GUI Odyssey | GUI Odyssey | GUI Odyssey |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| V2 | Pro | Avg | TM | GR | SR | TM | GR | SR | TM | GR | SR | |
| Closed-source Models | ||||||||||||
| GPT-4o ( Hurst et al., 2024 ) | 18.3 | 0.8 | 9.6 | 74.3 | 0.0 | 19.4 | 66.3 | 0.0 | 20.8 | 34.3 | 0.0 | 3.3 |
| Claude-CU ( Anthropic, 2024 ) | 83.0 | 17.1 | 50.1 | 74.3 | 0.0 | 19.4 | 63.7 | 0.0 | 12.5 | 60.9 | 0.0 | 3.1 |
| Open-source Models | ||||||||||||
| OS-Atlas-4B ( Wu et al., 2024 ) | 71.9 | 3.7 | 37.8 | 91.9 | 83.8 | 80.6 | 49.0 | 49.5 | 22.8 | 49.6 | 34.6 | 20.3 |
| OS-Atlas-7B ( Wu et al., 2024 ) | 84.1 | 18.9 | 51.5 | 93.6 | 88.0 | 85.2 | 57.4 | 54.9 | 29.8 | 60.4 | 39.7 | 27.0 |
| Qwen2.5VL-3B ( Bai et al., 2025 ) | 80.9 | 28.7 | 54.8 | 62.0 | 74.1 | 59.3 | 47.8 | 46.5 | 38.9 | 37.4 | 26.5 | 26.7 |
| Qwen2.5VL-7B ( Bai et al., 2025 ) | 89.0 | 28.7 | 58.9 | 83.4 | 87.0 | 62.5 | 62.2 | 72.5 | 52.7 | 67.4 | 56.3 | 52.4 |
| SeeClick ( Cheng et al., 2024 ) | 55.1 | 1.1 | 28.1 | 93.0 | 73.4 | 75.0 | 82.9 | 62.9 | 59.1 | 71.0 | 52.4 | 53.9 |
| UI-R1-3B ( Lu et al., 2025b ) | 85.4 | 17.8 | 51.6 | 79.2 | 82.4 | 66.4 | 57.9 | 55.7 | 45.4 | 52.2 | 34.5 | 32.5 |
| UI-R1-7B ( Lu et al., 2025b ) | 90.0 | 33.5 | 61.8 | 86.6 | 83.7 | 69.7 | 72.4 | 62.8 | 54.2 | 67.1 | 41.3 | 43.5 |
| GUI-R1-3B ( Luo et al., 2025a ) | 85.0 | 28.6 | 56.8 | 83.7 | 81.6 | 64.4 | 58.0 | 56.2 | 46.6 | 54.8 | 41.5 | 41.3 |
| GUI-R1-7B ( Luo et al., 2025a ) | 88.2 | 31.3 | 59.8 | 85.2 | 85.4 | 66.5 | 71.6 | 65.6 | 51.7 | 65.5 | 43.6 | 38.8 |
| OS-Genesis-7B ( Sun et al., 2024 ) | – | – | – | 90.7 | – | 74.2 | 65.9 | – | 44.4 | 11.7 | – | 3.6 |
| Aguvis-7B ( Xu et al., 2024 ) | 81.8 | 22.9 | 52.4 | 93.8 | – | 89.4 | 65.6 | – | 54.2 | 26.7 | – | 13.5 |
| NaviMaster-7B ( Luo et al., 2025b ) | – | – | – | – | 93.9 | 69.5 | 72.9 | – | 54.0 | 64.4 | – | 36.9 |
| PAL-UI-3B ( Liu et al., 2025d ) | – | – | – | – | – | – | 60.4 | 58.7 | 49.3 | 56.7 | 36.9 | 34.6 |
| PAL-UI-7B ( Liu et al., 2025d ) | – | – | – | – | – | – | 71.3 | 70.5 | 57.8 | 65.1 | 46.8 | 41.7 |
| UI-AGILE-3B ( Lian et al., 2025 ) | 88.6 | 37.9 | 63.3 | 85.4 | 87.6 | 74.3 | 78.6 | 60.7 | 56.8 | – | – | – |
| UI-AGILE-7B ( Lian et al., 2025 ) | 92.1 | 44.0 | 68.1 | 87.7 | 88.1 | 77.6 | 80.1 | 61.9 | 60.6 | – | – | 37.0 |
| UI-S1-7B ( Lu et al., 2025c ) | 90.1 | 30.6 | 60.4 | 92.2 | 89.3 | 89.2 | 79.9 | 73.4 | 68.2 | 76.3 | 61.7 | 59.5 |
| AgentCPM-GUI-8B ( Zhang et al., 2025b ) | – | – | – | 94.4 | – | 90.2 | 77.7 | – | 69.2 | 90.8 | – | 75.0 |
| UI-TARS-7B ( Qin et al., 2025 ) | 91.6 | 35.7 | 63.7 | 95.2 | 89.3 | 91.8 | 83.7 | 80.5 | 72.5 | 94.6 | 90.1 | 87.0 |
| Ours 7B Models | ||||||||||||
| UI-Copilot-7B | 90.0 | 31.6 | 60.8 | 93.6 | 88.2 | 89.2 | 82.9 | 72.2 | 71.8 | 74.5 | 63.8 | 57.2 |
Open this note in the interactive notebook (comments, hooks) → · All notes