DicoHub
登录注册
← 返回教程目录

AutoGLM

一句话简介：智谱 AI 开源的手机操控智能体框架（Phone Agent）通过视觉大模型"看懂"手机屏幕。

主流功能：手机自动操作 50+ 国产 App（点餐/订票/填表）

可用性：国内可直接使用（开源代码 + 智谱官方云端 API；模型也可从魔搭社区 ModelScope 下载）。

适用人群：想体验"AI 替我玩手机"的极客、开发者；做移动端自动化测试/调研的从业者

前置条件：

  • 电脑：Windows / macOS / Linux，Python 3.10 及以上
  • 手机：Android 7.0 以上（或鸿蒙 HarmonyOS NEXT 以上、iPhone 需另配 WebDriverAgent），安卓机需开启开发者模式和 USB 调试
  • 网络：能访问 GitHub（拉代码，可用镜像站加速）、智谱开放平台或魔搭社区（申请 API Key）
  • 费用：使用云端 API 按 token 计费（有免费额度，以平台为准）

部署路线选择（二选一）

路线 适合谁 说明
A. 第三方云端 API（推荐新手） 无 GPU、不想折腾 无需下载 ~20GB 模型，直接调智谱 BigModel 或魔搭推理服务
B. 本地自行部署模型 有高配 GPU、重隐私 用 vLLM / SGLang 在本地起 OpenAI 兼容服务

下面以推荐的 A 路线为主线讲解。

步骤 1：准备 Python 环境

  1. 确认 Python 版本（建议 3.10+）：
python --version
  1. （可选但推荐）国内换 pip 源，加速后续安装：
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

步骤 2：安装 ADB 并连接手机

  1. 安装 ADB（Android 调试桥）：
  • macOS：brew install android-platform-tools
  • Windows/macOS 通用：到 https://developer.android.com/tools/releases/platform-tools 下载 platform-tools，解压后把目录加入系统 PATH
  1. 手机端操作：
  • 「设置 → 关于手机 → 版本号」连续点击约 10 次，开启开发者模式
  • 「设置 → 开发者选项」开启 USB 调试
  • 用可传数据的数据线（非纯充电线）连接电脑，手机上弹出的授权框点「允许」
  1. 电脑上验证连接：
adb devices

看到 List of devices attached 下有一行设备号 + device 即成功。若显示 unauthorized，检查手机授权弹窗；若为空，执行 adb kill-server && adb start-server 后重试，或换数据线/USB 口。

步骤 3：安装 ADB Keyboard（安卓文本输入用）

  1. 到项目 README 链接下载 ADB Keyboard 安装包，安装到手机
  2. 在手机「设置 → 输入法/键盘列表」中启用 ADB Keyboard （鸿蒙设备用原生输入法，无需此步）

步骤 4：拉取代码并安装依赖

git clone https://github.com/zai-org/Open-AutoGLM.git
cd Open-AutoGLM
python -m venv venv
source venv/bin/activate # Windows 用：venv\Scripts\activate
pip install -r requirements.txt
pip install -e.

GitHub 访问慢可用镜像站加速克隆；注意不需要单独下载模型仓库，模型走 API 调用。

步骤 5：申请 API Key（二选一）

  • 智谱 BigModel（推荐）：访问 https://open.bigmodel.cn/ 注册，创建 API Key 并保存。调用参数：
  • --base-url：https://open.bigmodel.cn/api/paas/v4
  • --model：autoglm-phone
  • 魔搭社区 ModelScope：访问 https://modelscope.cn/models/ZhipuAI/AutoGLM-Phone-9B，申请 API Key。调用参数：
  • --base-url：https://api-inference.modelscope.cn/v1
  • --model：ZhipuAI/AutoGLM-Phone-9B

步骤 6：验证模型部署

python scripts/check_deployment_cn.py --base-url https://open.bigmodel.cn/api/paas/v4 --model "autoglm-phone" --apikey "你的API_KEY"

输出一段中文思维链（如"用户想…我需要先启动京东…"）且无乱码，即配置成功。

步骤 7：运行第一个手机操控任务

单任务模式（说完即做，做完退出）：

python main.py --base-url https://open.bigmodel.cn/api/paas/v4 --model "autoglm-phone" --apikey "你的API_KEY" "打开美团搜索附近的火锅店"

交互模式（逐条下指令）：

python main.py --base-url https://open.bigmodel.cn/api/paas/v4 --model "autoglm-phone" --apikey "你的API_KEY"

运行后出现 Enter your task: 提示符，输入如"打开微信给妈妈发消息说我今晚不回家吃饭"，AI 会截图→分析界面→规划点击/滑动/输入→通过 ADB 执行，全程自动完成。涉及登录、验证码等敏感操作时会自动停下请你人工接管。

工作原理（了解即可）

截图（手机当前屏）→ 发给视觉大模型分析 UI 控件坐标 → 模型决策下一步点击/滑动/输入 → ADB 发送指令执行 → 循环直到任务完成。

进阶：本地部署模型（B 路线，简述）

  1. 从 HuggingFace 或 ModelScope 下载 zai-org/AutoGLM-Phone-9B（约 20GB；HuggingFace 国内可用 hf-mirror.com 镜像站加速）
  2. 用 vLLM 启动 OpenAI 兼容服务（官方要求的关键参数：--served-model-name autoglm-phone-9b --port 8000，完整参数见 README）
  3. 服务跑起来后 http://localhost:8000/v1 即为 --base-url，用法与 A 路线相同

懒人替代：免电脑安卓 App（第三方开源）

不想用电脑部署，可试第三方开源项目 Open-AutoGLM-Android（GitHub：chenxqiyu/Open-AutoGLM-Android）：

  1. 从其 Release 页下载 APK 安装到安卓 11+ 手机
  2. 「设置 → 模型配置」选「智谱 AutoGLM」，填入你的智谱 API Key（Base URL 与模型名已预设）
  3. 在系统无障碍设置中开启「AutoGLM Android」服务，并把该应用的电池策略设为「无限制」
  4. 回到「对话」页直接输入任务，如"在美团上搜索奶茶"，手机端独立运行

常见问题

  1. Windows 下运行报 UnicodeDecodeError: 'gbk' codec... 项目文件是 UTF-8，Windows 默认用 GBK 读取。打开报错的脚本（如 check_deployment_cn.py），把 open(...) 改成 open(..., encoding='utf-8')。

  2. adb devices 看不到设备 / 显示 unauthorized 检查：USB 调试是否开启、手机是否点了授权弹窗、数据线是否支持传数据；尝试 adb kill-server && adb start-server，或换线/换 USB 口。

  3. 能打开 App 但点不准 / 文本输不进去 文本输入依赖 ADB Keyboard，确认已安装并在输入法列表中启用；点击不准多为模型对异形屏/小控件识别偏差，换云端更强的模型或重试。

  4. 截图黑屏 部分 App（银行、视频 DRM 内容）禁止截屏，这是系统限制，换其他 App 测试。

  5. 鸿蒙手机怎么用？ 官方支持 HarmonyOS NEXT 以上：用 HDC 替代 ADB（hdc list targets 验证），运行命令加 --device-type hdc；iPhone 需按仓库 docs/ios_setup 配 WebDriverAgent。