当前位置: 首页 > ds >正文

全网首发!AgentCPM-GUI通过adb操控手机教程

1. 背景

  • 随着多模态大模型的发展,​​AgentCPM-GUI​​作为清华大学与ModelBest联合研发的安卓GUI智能体,首次实现了通过​​视觉推理+ADB协议​​对手机界面进行自动化操控。其核心在于将MiniCPM-V模型的图像理解能力与Android Debug Bridge(ADB)的底层控制命令结合,形成“思考-执行”闭环:模型解析屏幕截图后生成操作指令(如点击坐标、输入文本),再通过ADB协议转发至手机执行。这一技术突破不仅替代了传统脚本的硬编码操作,更为无障碍辅助、自动化测试等场景提供了自然语言交互新范式。本教程将详解如何部署AgentCPM-GUI并打通ADB控制链路,实现“一句话操控手机”
  • 特性:实现AgentCPM-GUI通过adb操控手机
  • 官方GitHub :参考AgentCPM-GUI
  • 总体流程
  • AgentCPM-GUI模型:https://www.modelscope.cn/models/OpenBMB/AgentCPM-GUI
  • 官方演示:演示案例(1倍速):
    https://github.com/user-attachments/assets/5472a659-cd71-4bce-a181-0981129c6a81

2.电脑安装并连接adb

2.1 安装adb

  • 电脑安装adb用于连接手机
  • 下载platform-tools-latest-windows.zip
  • 设置环境变量(网上查教程即可)
  • 这个网上很多教程,不展开介绍

2.2 连接手机adb

  • 安卓手机,开发者模式
  • 打开电脑命令行,输入指令“adb devices -l”,查看输出结果,就可以看到设备是否连接成功
C:\Users\2170
http://www.xdnf.cn/news/13417.html

相关文章:

  • pikachu靶场通关笔记23 SQL注入06-delete注入(报错法)
  • RT_Thread——邮箱
  • Monorepo + PNPM 搭建高效多项目管理
  • 基于流形迁移学习的快速动态多目标进化算法(MMTL-MOEA/D)求解FDA1-FDA5和dMOP1-dMOP3,提供完整MATLAB代码
  • ubuntu桌面x11异常修复
  • 《安富莱嵌入式周报》第354期: 开源36通道16bit同步数据采集卡,开源PoE以太网GPIB,分体式键盘DIY,微软WSL开源,USB转车载以太网
  • 第5章 类的基本概念 笔记
  • 50天50个小项目 (Vue3 + Tailwindcss V4) ✨ | EventKey Codes(键盘码)
  • Vim 调用外部命令学习笔记
  • 主键(PRIMARY KEY)与唯一键(UNIQUE KEY)的区别详解
  • 代码随想录算法训练营第60期第六十四天打卡
  • Maven 多仓库配置及缓存清理实战分享
  • 反向工程与模型迁移:打造未来商品详情API的可持续创新体系
  • 工厂方法模式(Factory Method Pattern)
  • 一个完整的日志收集方案:Elasticsearch + Logstash + Kibana+Filebeat (三)
  • 通义灵码 AI IDE 上线!智能体+MCP 从手动调用工具过渡到“AI 主动调度资源”
  • 欧盟手机和平板电脑生态设计和能源标签法案解析
  • 零基础玩转物联网-串口转以太网模块如何快速实现与MQTT服务器通信
  • 【Elasticsearch】Elasticsearch 近实时高速查询原理
  • 0610_特性和反射_加密和解密_单例模式
  • Python爬虫基础之Selenium详解
  • 如何排查 Docker 容器资源占用过高的问题?
  • RabbitMq详解
  • 期权卖方是谁?
  • CVE-2024-23897源码分析与漏洞复现(Jenkins 任意文件读取)
  • Mybatisplus3.5.6,用String处理数据库列为JSONB字段
  • 配置Linux的网络为静态IP地址的一些方法
  • http协议同时传输文本和数据的新理解
  • 可编辑前端列表页面,让你的用户直接粘贴录入数据
  • pdf.js在iOS移动端分页加载优化方案(ios移动端反复刷新加载问题)