MTSC2025参会感悟:大模型 + CV 重构全终端 UI 检测技术体系
目录
一、传统 UI 自动化的困局:高成本与低效率的双重枷锁
1.1 根深蒂固的技术痛点
1.2 多维度质量挑战的叠加
二、Page eyes 1.0:纯视觉方案破解 UI 检测困局
2.1 纯视觉检测的核心理念
2.2 页面加载完成的智能判断
2.3 视觉模型驱动的异常检测
2.4 大模型赋能未知异常检测
2.5 分布式系统架构保障效率
三、Page eyes Agent 2.0:从自动化到智能体的进化
3.1 GUI Agent 的技术突破
3.2 页面信息感知技术选型
3.3 执行流程与稳定性保障
3.4 创新应用场景:APP 智能遍历
四、行业趋势与未来展望
4.1 技术发展趋势
4.2 核心技术挑战
4.3 未来演进方向
结语
在移动互联网高速发展的今天,用户界面(UI)作为产品与用户交互的第一道桥梁,其质量直接决定了用户体验与企业品牌形象。然而,随着终端设备碎片化加剧、业务迭代速度加快,传统 UI 自动化测试正面临前所未有的挑战。腾讯音乐娱乐集团(TME)基于大模型与计算机视觉(CV)技术构建的 Page eyes 系列解决方案,从纯视觉检测到智能体交互,为全终端 UI 检测提供了全新思路。本文将深入解析这一技术演进历程,探讨 AI 驱动下 UI 质量保障体系的变革与未来。