每日热门skill-phone-harness 深度研究报告 ：AI 长出手了！三周 2099 星的开源神器，让 Claude 像真人一样操控你的 iPhone

基金定投助手为什么你的基金定投总在追涨杀跌价值平均法定投引擎 综合估值模型动态再平衡仓位管理一个单文件 HTML 的免费定投工具-CSDN博客https://download.csdn.net/download/weitingfu/93339607?spm1011.2124.3001.6210phone-harness 深度研究报告 —— 不用越狱、不用 XcodeMac 就是整条传输通道写在前面那个永远差一步的圣杯你有没有经历过这种场景手机在充电微信弹出一条消息你懒得伸手对电脑说“帮我回一下。”AI 回你一句“抱歉我无法操作手机。”你在 12306 抢票盯着屏幕心想这要是能让 AI 帮我点就好了。你测一个 iOS App 的回归用例还得打开 Appium配 WebDriverAgent折腾一整天。让 AI 直接操作手机一直是这个行业的圣杯。有人试过。豆包手机早期大胆尝试结果被全网巨头封杀StepX Neo刚发布就刷屏。但它们要么太封闭要么太重。直到 2026 年 8 月 7 日一个叫phone-harness的开源项目悄悄出现在 GitHub 上。上线一天200 stars。三周2,099 stars近 200 forks登上 Trendshift 榜单8 月 27 日被 SkillHub 收录8 月 30 日 dev.to 出了深度评测。它说让 Claude Code、Codex或者任意 LLM直接控制你的真机 iPhone。不用越狱。不用 Xcode。不用 WebDriverAgent。手机上一个 App 都不用装。靠的是什么靠 Mac 上那个你早就见过、但从来没当回事的功能——iPhone 镜像iPhone Mirroring。一、它到底怎么做到的穷人的 DOM给了答案先别急着眼花缭乱的 star 数。我们来拆原理。macOS Sequoia 起iPhone 镜像可以把手机画面渲染成 Mac 上的一个窗口并且把 Mac 的鼠标和键盘输入原样转发成手机上的触摸。phone-harness 的工程逻辑一句话把 iPhone 镜像窗口当成整条传输通道。“看”靠截图加 OCR用screencapture截下镜像窗口用苹果的 Vision framework 做文字识别画面上每一个看得见的字符串都变成带坐标的内容。作者管这叫“穷人的 DOM”the poor man’s DOM。什么意思网页有 DOM浏览器能看到每个元素的层级和位置。手机没有。但有了 OCR屏幕上天气两个字出现在 (400, 468)AI 就知道该点哪里。这就是手机版的 DOM虽然是穷人版。“点”靠系统级事件用CGEvents在 HID 层模拟真实点击点按、长按、拖动、滑动、滚动、文字输入连 App 自己的快捷键都有Cmd1 回主屏、Cmd2 打开 App 切换器、Cmd3 打开 Spotlight。“验”靠再次截图没有 DOM截图就是唯一的地面真相ground truth。点完再截一张OCR 确认结果闭环完成。整个链路是无状态的。每次调用都重新查询窗口位置和屏幕没有常驻守护进程一次执行就是一次完整、自包含的运行。核心代码多少行约 500 行 Python。拆成几个模块mirror窗口和输入、ocr文字识别、helpers预载基础函数、admindoctor 健康检查、runCLI。500 行。这就是它敢叫自己 “harness”缰绳/挽具的原因——不是重武器是轻量缰绳。二、Android 呢它也没落下别以为只有 iPhone。Android 走的是另一条路adb。连接方式USB 或 Wi-Fi比 iPhone 更自由——不需要窗口、不需要焦点、Mac 上什么都不用在前台“看”screencap截图 手机自己的 accessibility treeuiautomator作为文字来源返回的是精确的字符串和精确的坐标“点”input tap / swipe / text就是手高级玩法tap_ui(url_bar)能直接按元素名字找这是纯 OCR 永远做不到的。两条路线同一套 helper 函数。你设一个默认平台也可以每次调用时用PHONE_HARNESS_PLATFORMandroid临时切换。互不干扰。最妙的是iPhone 通过镜像窗口驱动Android 通过 adb 驱动两者可以同时配好随时切换。三、动手三步让你的 Agent 长出手3.1 安装# 1. 克隆到规范位置 git clone https://github.com/ShawnPana/phone-harness ~/.phone-harness # 2. 安装全局命令会拉入 pyobjc cd ~/.phone-harness pip install -e . # 3. 注册为 Agent Skill让 Claude Code / Codex 自动调用 mkdir -p ~/.claude/skills/phone-harness phone-harness skill ~/.claude/skills/phone-harness/SKILL.md3.2 授权只需要你亲手做两件事iPhone系统设置 → 隐私与安全性给终端授予辅助功能负责点击和按键和屏幕录制负责截屏权限。注意屏幕录制权限要重启终端才生效。Android设置 → 关于手机 → 连点版本号 8 次打开开发者选项然后 USB 调试插线点允许或无线调试一次 6 位配对码。3.3 验证phone-harness --doctor phone-harness config set platform ios # 或 android--doctor会逐级检查整条链路截图 → OCR → 点击 → 验证。全部通过意味着 AI 的眼睛和手都通了。四、真实使用AI 是怎么玩你的手机的安装完之后你可以直接手动测./phone-harness PY open_app(Weather) tap_text(北京) print([o[text] for o in ocr()][:5]) PYAI 侧的典型执行循环是这样的● agent: 想打开天气 App │ ● ocr() → 发现 Weather 在 (400, 468) │ ● tap(400, 468) → wait_stable() → 再次 ocr() 确认天气已加载 ✓ 完成这跟它操作浏览器、操作桌面是同一套看屏幕 → 决定点哪 → 验证结果的循环。Reddit 上 r/ClaudeAI 的共识一语道破“Claude 处理这些任务很轻松因为它只是又一个’看屏幕、决定点哪里’的循环。” 手机控制需要的不是新的模型能力而是一条传输通道。还有一个细节很值得玩味Agent 在执行中发现缺什么 helper 函数可以自己写进agent-workspace/agent_helpers.py动态补上。也就是说它有一点点自我进化的味道——不是死磕写死的逻辑。五、安全边界作者画了明确的红线操作真机风险是真实存在的。作者在 SKILL.md 里写得很清楚发消息、发帖、购买、删除、改设置这类不可逆或难以撤回的操作必须先问用户在消息、照片、邮件等个人内容里不逗留超过任务所需它永远不会替你输 PIN 码解锁手机phone-harness android awake只负责保持亮屏。这个边界值得所有做 Phone Agent 的团队抄作业。六、避坑指南作者踩过的坑你不用再踩README 里最值钱的部分是学到的惨痛教训坑真相对策AppleScript 点击镜像窗口是视频流没有 accessibility tree会被静默忽略用 CGEventUnicode 输入镜像转发的是原始 HID 键码中文键码映射麻烦用 keycodes慢速拖拽几乎推不动 iOS 列表列表用滚轮翻页用快速滑动窗口不在前台输入会被吞掉helper 会自动重新激活窗口macOS 26 回归合成滚动和垂直拖动被系统丢弃用 flick 代替官方正在修预填字段输入type_text是追加不是替换先清空再输入其他硬限制一次只能控制一部手机物理手机被拿起/解锁镜像会暂停不支持多点触控捏合缩放不行OCR 只认文字纯图标按钮需要多模态模型。七、同类对比phone-harness 站在哪方案设备是否需要越狱/依赖形态特点phone-harness真机 iPhone Android无纯系统能力500 行 Python SKILL.md轻、透明、可扩展iOS 真机最省力路径豆包手机Android—云端已被巨头封杀前车之鉴StepX NeoAndroid—硬件/系统厂商级方案封闭Open-AutoGLM智谱AndroidADBPhone Agent 框架视觉理解 50 中文应用支持droidrun/mobile-harness多端—Markdown 指令iPhone 支持较弱mobile-mcp servers多端—MCP 工具社区共识iPhone 支持是短板Appium / WebDriverAgentiOS/Android重依赖测试框架功能全但重为测试而生结论很清楚phone-harness 是当前到真实 iOS 设备阻力最小的路径。它不跟 Appium 抢测试框架的饭碗它抢的是让 AI 像人一样用手机这个新战场。写在最后给你的 AI 装上这双手回看 2026 年的 AI 进化史上半年是 Agent 学会用电脑下半年是 Agent 开始接管手机。phone-harness 的启发不在代码量而在思路它没有发明任何新能力只是找到了系统里那条早已存在的通道——iPhone 镜像。你的 Mac 本来就能操作你的 iPhone。它只是把这条通道从人的手换成了AI 的手。所以别等了。如果你有 Mac iPhone今晚就装git clone https://github.com/ShawnPana/phone-harness ~/.phone-harness然后把那行 Setup Prompt 粘给 Claude Code。明天早上你就可以对着电脑说“帮我把手机上的天气看一眼。”它会回你“已经看到了北京晴28 度。”关键词phone-harness、AI Agent、iPhone 镜像、iPhone Mirroring、Claude Code、手机自动化、CGEvent、免越狱、真机控制、移动端 AI