Qwen-UI-Agent – 阿里通义推出的 GUI 智能体基座模型AI工具3天前发布AI小集02Qwen-UI-Agent是什么Qwen-UI-Agent 是阿里巴巴通义团队推出的 GUI 智能体基座模型，能在手机、电脑和网页端像真人一样操作界面。模型基于 100+ 台真机、150+ 应用训练，支持 GUI 与命令行混合执行，可完成跨应用长程任务。内置安全机制，危险请求直接拒绝，支付、删除等敏感操作主动交还用户确认。在 MobileWorld、WebArena 等基准上全面超越GPT-5.6、Claude Opus 等旗舰模型，是当前真实世界可用性最强的 GUI Agent 之一。Qwen-UI-Agent的主要功能跨设备 GUI 操作：在手机、电脑、浏览器上自动点击、输入、滑动，完成界面交互。真机多应用工作流：跨 150+ 真实 App 执行复杂长链任务，如查地图→找餐厅→订座→发日程。GUI + CLI 混合执行：既能点界面，也能跑命令行，支持一次输出多个批量动作提速。安全边界管控：违法请求直接拒，支付、删文件、隐私授权等敏感操作主动弹窗交还用户确认。长程任务处理：稳定执行 100+ 步的调研、数据分析、报告生成等超长任务。精准界面定位：在 ScreenSpot-Pro 等 grounding 基准上刷新 SOTA，精准识别屏幕元素位置。Qwen-UI-Agent的技术原理真机训练环境：搭建 100+ 台真实手机、150+ 应用的真机集群，直接采集真实轨迹并用于训练与评测，弥合模拟环境与真实设备之间的性能鸿沟。混合动作空间：模型同时掌握 GUI 操作（点击、滑动、输入）与 CLI 命令，引入 Batched Actions 机制，支持单次决策并行输出多个动作，使电脑任务中 CLI 占比近半，整体执行步数显著缩短。长程在线强化学习：支持在超过 100 步的超长轨迹上进行端到端在线 RL 训练，依托约 10,000 个并发环境并行 rollout，配合自适应课程学习，持续攻克高难度长程任务。安全对齐机制：将安全判断内嵌于任务执行全链路，通过前置分类识别违法或高风险请求并直接终止；对支付、数据删除、隐私授权等敏感场景，在关键节点触发ask_user接管，确保危险请求不执行、敏感操作不擅自决定。多模态 Grounding 与通用能力保持：在 GUI 专用训练的同时保留基座模型的通用推理与 agentic 能力，使其既能精准定位屏幕元素（刷新多项 grounding SOTA），能应对真实世界中的长尾知识与工具调用需求。微信关注回复“开源”，加入AI开源项目交流群如何使用Qwen-UI-Agent阅读技术报告：访问 arXiv 论文了解模型架构、训练方法与 8 项基准的详细评测结果。浏览项目主页：打开 tongyi-mai.github.io/Qwen-UI-Agent 观看 5 个真实场景的真机演示与交互案例。跟踪开源仓库：关注 GitHub Tongyi-MAI/MAI-UI 获取后续可能发布的模型权重、代码与部署文档更新。运行基准评测：使用配套仓库 Tongyi-MAI/MobileWorld 的 Docker 环境，对模型进行可复现的移动端 GUI 能力测试。Qwen-UI-Agent的核心优势真机闭环：基于 100+ 台真实手机、150+ 应用训练与评测，自建 MobileWorld-Real 真机基准，直接弥合”模拟到真实”的鸿沟。全面 SOTA：在 MobileWorld、OSWorld、WebArena、ScreenSpot-Pro 等 8 项核心基准上全面超越或持平 GPT-5.6、Claude Opus 4.8、Gemini 3.1 Pro 等旗舰模型。混合执行提速：统一 GUI 点击与 CLI 命令，支持单次决策批量输出多个动作，电脑任务中约 40% 为批量动作，整体节省近 58% 执行步数。长程在线强化学习：支持 100+ 步超长轨迹的端到端在线 RL，依托约 10,000 并发环境并行 rollout，持续攻克复杂长程任务。内置安全边界：违法/危险请求直接拒绝终止；支付、删数据、隐私授权等敏感操作在关键节点主动停手，弹窗交还用户确认后再继续。Qwen-UI-Agent的项目地址项目官网：https://tongyi-mai.github.io/Qwen-UI-Agent/GitHub仓库：https://github.com/Tongyi-MAI/MAI-UI技术论文：https://tongyi-mai.github.io/Qwen-UI-Agent/Qwen-UI-Agent-Technical-Report.pdfQwen-UI-Agent的同类竞品对比对比维度Qwen-UI-AgentMAI-UI产品定位跨移动、电脑、浏览器、DeepSearch 的统一 GUI Agent 基座移动端 GUI Agent 基座模型MobileWorld82.1%41.7%执行方式GUI + CLI 混合，支持批量动作（Batched Actions）以 GUI 点击为主长程能力100+ 步在线 RL，10,000 并发环境 rollout基础长程任务跨平台手机、电脑、浏览器、DeepSearch 统一模型主要聚焦移动端主动服务能从航班取消等真实通知信号主动发起任务被动响应用户指令安全机制分层安全：违法直接拒，敏感操作弹窗交还用户确认基础安全对齐数据飞轮AutoResearch 式数据飞轮：Agent 自建任务、诊断失败、规划迭代人工驱动迭代Qwen-UI-Agent的应用场景本地生活探店：自动跨高德、大众点评、小红书完成地址搜索、人气比对和口碑总结，一站式搞定约会探店。行程会议联动：查 12306 高铁班次、算地铁通勤时间，自动在钉钉创建带提醒的会议日程。深度调研报告：跨网站采集财报数据、运行分析脚本，自动生成 Excel、PPT 和 Word 交付物。跨设备发票整理：从手机相册提取发票照片，传到电脑分类归档，并生成结构化 Excel 报销单。航班取消主动应急：检测到航班取消通知后，自动搜索替代航班和高铁方案，推荐能赶上会议的最优选项并交还用户决策。# AI工具# AI项目和框架©版权声明本站文章版权归AI工具集所有，未经允许禁止任何形式的转载。上一篇Alta - AI 穿搭应用，能生成专属 Avatar 虚拟试衣下一篇紫三角 - CAD 图纸 AI 翻译工具，支持中英互译相关文章BlinkShot – 开源的实时AI图像生成器，几毫秒内生成高质量图像AI小集3FreeScale – 无需微调的推理框架，提升扩散模型生成能力首次实现8K分辨率图像AI小集2Vinsoo Code – 全球首个多Agent云端协作编程AI IDEAI小集391JPG 绘影流光 – AI商拍工具，应用于服装拍摄的各个环节AI小集3ComfyUI-MochiEdit – 开源的AI视频编辑工具，支持视频转视频和局部编辑AI小集3Copilot Edits – GitHub Copilot推出的智能代码编辑功能AI小集2暂无评论再想想发表评论暂无评论…热门工具Loomy即梦AISekoAiPPT秘塔AI搜索妙呀堆友Agent美图设计室绘蛙AIupdream办公小浣熊秒哒最新收录精挑翻译AskCcmarmos模兜漫小芽TipKay最新文章秒悟Meoo – 1分钟生成前后端完整的网站，真0门槛开发！3小时前OpenBot – CopilotKit 开源的企业级 AI Agent 平台3小时前HyCreator – 腾讯混元团队推出的 AI 长视频生成平台4小时前FreeToken – 开源端侧 MoE 大模型推理系统，支持满血运行18小时前TabTin – 开源的全栈 AI Agent 团队协作平台18小时前TeleAgent – 中国电信天翼 AI 推出的桌面级通用智能体助手18小时前LLM-as-a-Verifier – 斯坦福联合英伟达等开源的通用验证框架2天前CoinVE-200K – 腾讯开源的大规模组合指令视频编辑数据集2天前Cocode – 开源DeepSeek Harness发行版，提供GUI与TUI双入口3天前Tap8 – AI 原生互动视频平台，支持实时双向交互3天前DeepSeek-V4-Flash-Vision-Exp – DeepSeek 推出的多模态视觉理解模型3天前SenseNova U1.5 Lite – 商汤科技开源的原生统一多模态大模型3天前FLUX Upscale – Black Forest Labs 推出的 AI 视频放大工具3天前Codex Harness – OpenAI 开源的 AI Agent 底层执行框架3天前紫三角 – CAD 图纸 AI 翻译工具，支持中英互译3天前