AndroidWorld: A Dynamic Benchmarking Environment for Autonomous Agents
AndroidWorld provides parameterized Android tasks with controlled initialization and programmatic completion checks for evaluating interactive agents.
Problem
Recorded action datasets cannot show how an agent responds when its own action changes the screen, and live-app evaluations can be difficult to repeat. AndroidWorld addresses the need for an executable mobile environment whose tasks can vary while preserving valid initialization and success criteria. The benchmark concerns complete interactions with applications, rather than only matching isolated demonstration actions.
Contributions
An Android environment exposing screenshots, accessibility information, and an action interface for agents.
Parameterized task definitions with setup, reward evaluation, and teardown tied to controlled application state.
Reusable validators that inspect files, databases, settings, or UI elements and support tasks composed from simpler objectives.
A released benchmark implementation and baseline agents, including M3A, for studying observation formats and prompting designs.
Method
The environment runs a fixed Android emulator configuration with controlled application versions. A task samples parameters under a specified random seed and prepares the corresponding initial state. The resulting instruction may refer to particular names, file contents, appointments, or other task-specific values, so different instances require more than replaying a fixed coordinate sequence.
An agent obtains the current screenshot and, when its configuration uses it, an accessibility-tree representation. It acts through gestures, text entry, navigation controls, and the supported function interface. The environment applies the action and returns a changed observation. Completion is checked against the requested state, using application databases or files where possible and UI validation where necessary.
The M3A baseline selects an action from the available operations and then inspects the transition. Its reflection stage summarizes what happened and provides a history for the next decision. The benchmark also supports simpler prompting and an adapted SeeAct baseline. In the released task API, initialization and validation belong to task code, keeping the evaluator separate from an agent's own claim that it has finished.
Evaluation
Experiments measure task success on AndroidWorld and MobileMiniWoB under defined interaction budgets. Agent comparisons vary the underlying language model, text-only versus screenshot-assisted observations, operating guidelines, and reflection. Human task attempts provide a reference for task difficulty and the interaction budgets used in the study.
Further analyses inspect failures and sensitivity to task parameters. Task seeds, application versions, and reset procedures matter because the goal is to compare agents on controlled yet varied instances. The state-based validators assess specified outcomes; their use does not imply that every behavior outside those checks has been evaluated.
详细阅读笔记 · SUP-A12
本笔记保留阅读时的论文版本、来源与实验边界。文中“你的方案／当前方案”等比较反映当时的讨论；当前研究方向见分类页。自拟例子与复现建议不是作者实验结果。
原论文 · P0 · 真实Android在线任务。核查日期：2026-09-07。
0. 摘要
中文转述；核查原文v5（2025-04-06），不是当前排行榜。AndroidWorld提供可以真正运行手机应用、初始化任务并检查最终状态的Android环境。原论文包含20个应用上的116种参数化任务，以及M3A等基线。它解决的是可重复在线评测，而非提出一个新的历史RAG系统。
1. 方法动机
只比较模型下一步与人工点击是否一样，不能判断另一条合理路线是否完成目标，也不能测试错误是否会累积。AndroidWorld让代理实际操作，再检查数据库、文件和系统设置。对历史研究，这提供了“摘要是否帮助最终做成事”的证据；但其中并非每个任务都需要长期历史，应单列历史依赖子集。
2. 原文方法与流程
§3.1–3.2：提供真实应用与统一交互接口
通过AndroidEnv和ADB运行Android，观察包含完整截图与可访问性树，动作覆盖点击、滑动、输入、返回和主页等；另有有限功能API。因此实验必须声明用了什么权限，不能把截图＋树或直接API称为纯视觉点击。
§3.3：任务先初始化，参数可以变化
论文固定Pixel 6、Android 13与应用版本；任务开始时设定设备时间和应用数据。每题有初始化、检查和清理程序，可以改变联系人、日期、记录内容等参数，形成多个实例。116不是所有可能实例的数量，“无限参数化”也不等于每次随机生成的任务都自动经过人工验证。
§3.4：检查结果状态，不只看结束词
例如代理新建日历事件后，评估器查询数据库是否存在要求的事件；改文件后检查实际文件内容。某些不便读取内部状态的任务使用UI验证。模型输出finish不自动得到成功分。评估器有内部状态读取权限，不代表代理也能看到这些答案。
§3.5–3.6：组合任务与移植小网页任务
独立任务的初始化和检查逻辑可组合，如创建日历事项并把详情写入消息。MobileMiniWoB++把适合触控的网页小任务放入Android WebView；框架支持92种，主实验选其中62种，不能混淆支持数与实测数。
§4.1.1：M3A已经有动作后历史摘要
M3A先读目标、当前截图/元素表与历史，生成JSON动作；执行后再读前后状态、实际动作和意图，总结是否成功、失败原因及下一步建议。这份短总结进入后续动作历史。可见“前后截图＋动作→摘要→下一步”在早期基线里已存在，用户方案不能仅以此为创新。
自拟例子：点击保存之后仍停在编辑页，摘要应记录“执行了保存点击，效果未确认”，后续先检查结果。这里需要模型判断反馈，而不只是把点击日志翻成文字。
3. 模型与训练
M3A使用ReAct/Reflexion式提示，原文没有为它训练新的记忆模型。比较GPT-4 Turbo、Gemini-1.5-Pro与Gemma-2-27B等。可访问性树版和截图加SoM版不同；简化版还同时删除了指导与反思，所以完整与简化的差值不是单独摘要模块的纯消融。
部署时动作生成与动作后反思需要调用；不能只数动作模型而忘记摘要成本。原文SeeAct是为Android适配的版本，因无网页DOM，没有沿用全部原始网页ranker。
4. 实验指标与设置
成功率来自实际终态检查；部分组合任务支持部分奖励，需要对齐具体评估函数。主表用seed=30、temperature=0，每题步数上限通常为人工所需步骤的两倍。种子同时影响任务参数，不只是模型采样。
5. 结果、分析与附录
表3，GPT-4 Turbo，单位%：
| 方法与观察 | AndroidWorld | MobileMiniWoB++ |
|---|---|---|
| M3A-Simple，可访问性树 | 19.8 | 67.7 |
| M3A，可访问性树 | 30.6 | 59.7 |
| M3A，截图＋树＋SoM | 25.4 | 67.7 |
| 适配SeeAct，截图＋树＋SoM | 15.5 | 66.1 |
不是所有场景加反思或图片都提高。§5另三个种子得到27.6/26.3/33.2，平均29.0，与主表单种子的30.6分开报告。附录C介绍接口，D/F给任务、参数与检查，E给M3A提示和感知、推理、知识、定位错误分析。本文只核对论文，没有运行环境或核实最新仓库支持状态。
6. 对本课题的用途
适合手机在线主评测，但应固定观察、工具、步数与任务参数，只替换历史模块，并多种子重复。M3A的动作后摘要是必须保留的简单强基线。不能把数据库验证器的信息交给记忆写入器，也不能把访问性树文本的收益归功于历史图片RAG。
7. 来源与核查范围
原文完整表格附件保留本版本可抽取的正文及附录表；正文解释关键比较，不把异构数据集或不同模型拼为统一排行榜。
原论文：章节、图注与来源 / Original paper。章节包括：1 Introduction；2 Related Work；2.1 Interactive evaluation environments；2.2 Static datasets for UI automation；2.3 Interactive agents；3 AndroidWorld；3.1 Android for autonomous agents；3.2 The observation and action space；3.3 Reproducible and parameterized tasks；3.4 Durable rewards from system state；3.5 Task composability；3.6 Integrating MiniWob++；4 AndroidWorld as a computer-control benchmark；4.1 computer use agents；4.1.1 M3A；4.1.2 SeeAct baseline；4.2 Experimental results；4.3 Analysis；5 Robustness Analysis；6 Conclusion；References；Appendix A Limitations；Appendix B Ethical considerations；Appendix C AndroidWorld environment；C.1 Observation Space。
Open this note in the interactive notebook (comments, hooks) → · All notes