点击不准、找不到按钮OmniParser 用纯视觉把屏幕截图解析成带编号的元素清单【免费下载链接】OmniParserA simple screen parsing tool towards pure vision based GUI agent项目地址: https://gitcode.com/GitHub_Trending/omn/OmniParserOmniParser 是一个面向纯视觉 GUI agent 的开源屏幕解析工具输入一张界面截图输出带坐标和功能描述的结构化元素清单让视觉模型能直接看屏幕、报位置。失效场景基于 DOM 与坐标的 GUI 自动化为什么会失效设想一个 QA 场景用 UI 自动化脚本验证一款 Windows 设计软件通过 UIAutomation 取控制树来定位工具栏按钮。但这类软件的界面大多是自绘控件控制树几乎是空的DOM 提取方案拿不到任何可点击节点退而求其次只能把按钮的像素坐标写死在脚本里——下一次 UI 改版按钮挪动几十像素整条脚本全部失效。依赖应用内部结构的方案失效方式通常就是这样要么拿不到结构要么结构一变就废。技术路线纯视觉屏幕解析如何绕开应用内部结构OmniParser 的思路是不碰任何应用内部输入只有一张截图管线分三步util/omniparser.py交互区域检测YOLOv9-E 检测器找出按钮、输入框、图标等可交互区域文本识别PaddleOCR 提取文字内容及位置图标功能描述基于 Florence-2 的 caption 模型给每个区域生成功能描述如 Save、Play。三类信息按 IoU 去重合并后输出编号 坐标 描述的纯文本元素列表和一张标注图。由于输入只是像素应用不必开放任何 API界面视觉特征不变解析结果就稳定跨平台、跨应用、跨版本都适用。效果实证OmniParser 屏幕解析效果与评测数据 上图是一次真实解析结果3240×2160 的谷歌搜索结果页搜索框、地址栏、Finance / News 等导航项、股价数值 373.04、 Follow 按钮、Explore more 侧栏的每一行股票、底部任务栏图标全部被彩色方框框选并从 01 编号到 160 以上右侧同步输出每个编号对应的纯文本元素描述——这正是喂给视觉语言模型做点哪个决策的输入格式。几组可核对的数据指标结果出处ScreenSpot Pro grounding 基准39.5%V2 发布时为当时最优eval/Windows Agent Arena排名第一2024/9docs/V2 相对 V1 的解析速度快约 60%omnitool/readme.md上手步骤如何安装并运行 OmniParser 演示 ️git clone https://gitcode.com/GitHub_Trending/omn/OmniParser cd OmniParser pip install -r requirements.txt python gradio_demo.py首次运行前需按 README.md 下载icon_detect_v3检测权重与icon_caption描述权重到weights/目录打开 Gradio 页面后上传任意界面截图即可得到编号标注图与元素列表界面里还提供框选阈值、IOU 阈值等可调参数。场景延伸GUI agent 训练数据与虚拟机自动操控端到端电脑操控omnitool/ 把 OmniParser 与 OpenAI 4o/o1、DeepSeek R1、Qwen 2.5VL 或 Anthropic Computer Use 等任一视觉模型组合直接驱动一台 Docker 里的 Windows 11 虚拟机完成看屏 → 决策 → 点击的闭环下图就是其多窗口测试环境训练数据流水线2025/3 起支持本地轨迹日志记录可用 OmniParser OmniTool 为自己的领域 agent 批量构建 GUI 操作训练数据。适合谁用GUI agent 与 UI 自动化团队如果你在构建 GUI agent、评测视觉模型的界面定位能力或需要跨版本做桌面软件 UI 回归且有一块可用 GPUCPU 亦可运行、速度较慢这套解析层可以即插即用反之如果你的需求只是截图识字而不需要元素结构单独上一个 OCR 工具会更轻。【免费下载链接】OmniParserA simple screen parsing tool towards pure vision based GUI agent项目地址: https://gitcode.com/GitHub_Trending/omn/OmniParser创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
