我要投稿

微软开源OmniParser V2，直接将DeepSeek-R1变成使用电脑的 AI Agents~

发布日期：2025-03-16 11:51:01 浏览次数： 2095

作者：PaperIdea

微信搜一搜，关注“PaperIdea”

微软在其官网上发布并开源OmniParser V2，它可以将任何 LLM 变成能够使用计算机的Agent。可以启用 GPT-4o、DeepSeek R1、Sonnet 3.5、Qwen等来了解屏幕上的内容并采取相关操作。

screen spot pro performance

OmniParser 是一款通用屏幕解析工具，可将 UI 屏幕截图解释/转换为结构化格式，以改进现有的基于 LLM 的 UI Agent。

训练数据集包括：

可交互图标检测数据集，该数据集来自热门网页，并自动注释以突出显示可点击和可操作区域；
图标描述数据集，旨在将每个 UI 元素与其相应的功能关联起来。

该模型中心分别包含基于上述数据集的 YOLOv8 微调版本和 Florence-2 微调基础模型。

OmniParserV2 有什么新功能？

更大、更清晰的图标标题 + 基础数据集与 V1 相比，延迟改善了 60%。
平均延迟：A100 上为 0.6 秒/帧，单个 4090 上为 0.8 秒。
性能强劲： ScreenSpot Pro上的平均准确率为 39.6
Agents只需要一个工具：OmniTool。使用 OmniParser + 选择的视觉模型控制 Windows 11 VM。OmniTool 开箱即用地支持以下大型语言模型 - OpenAI (4o/o1/o3-mini)、DeepSeek (R1)、Qwen (2.5VL) 或 Anthropic Computer Use。

https://huggingface.co/microsoft/OmniParser-v2.0https://www.microsoft.com/en-us/research/articles/omniparser-v2-turning-any-llm-into-a-computer-use-agent/https://github.com/microsoft/OmniParser/tree/masterdemo： http://hf.co/spaces/microsoft/OmniParser-v2

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-12-16

阿里重磅开源 0.5B TTS + 0.8B ASR，支持跨语种音色克隆、说唱识别！

2025-12-15

智谱手机 Agent 开源一周，iOS 版就来了

2025-12-15

OpenEvals下一代AI模型评估标准

2025-12-15

AutoGLM：推倒那面墙

2025-12-15

狂揽162K Star！n8n 2.0强势来袭，这次改动有点狠。

2025-12-14

ollama v0.13.3 最新发布：新增模型与功能优化详细解读

2025-12-14

OpenAI突然开源新模型！99.9%的权重是0，新稀疏性方法代替MoE

2025-12-14

AutoGLM开源：手机AI Agent的“安卓时刻”来了

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

DeepSeek又开源，这次是OCR模型！附论文解读！

2025-10-20

全新AI编程工具 Google Antigravity 实测，特别适合产品经理

2025-11-19

发现一个超神的Github开源OCR项目，国产多模态杀疯了

2025-10-27

MiniMax悄悄发布M2，8%价格打出Claude级性能

2025-10-27

如愿以偿！Qwen3-VL再开源30B-A3B，附实测！

2025-10-03

DeepSeek-V3.2背后的国产算子编程语言TileLang是什么？如何保持性能领先的同时减少6倍代码量？

2025-09-29

n8n如何调用最近爆火的deepseek OCR？

2025-10-29

让白宫“破防”的阿里千问，我替你们测了...

2025-11-17

DeepSeek-V3.2-Exp开源，附论文细节解读！

2025-09-29

最强开源0.9B级OCR模型！PaddleOCR-VL本地一键部署，私密性拉满【喂饭级教程】

2025-11-07

大家都在问

我们为什么选择 Spring AI 开发智能体，而不是 Dify？

2025-11-12

开源安全审核模型终极PK：Qwen3Guard、OpenAI-SafeGuard、Llama4-Guard谁才是王者？

2025-11-10

DeepSeek-OCR到底厉害在哪？

2025-11-03

n8n如何调用最近爆火的deepseek OCR？

2025-10-29

小红书入局AI智能体开源DeepAgent，在计划什么更新？

2025-10-28

埃森哲的大裁员，向市场发出了什么信号？

2025-10-13

DeepSeek-V3.2背后的国产算子编程语言TileLang是什么？如何保持性能领先的同时减少6倍代码量？

2025-09-29

Qwen3-Next 首测！Qwen3.5的预览版？但为什么我的测试一塌糊涂？

2025-09-17

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： [email protected]

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部