esonehumanbeing /
esp32-iphone-agent
用一块约 7 美元的 ESP32-S3 开发板,让 AI 模型操作真实的 iPhone,不需要 Mac、不需要开发者账号、不需要越狱。 主要功能: 眼睛:iPhone 通过 AirPlay 屏幕镜像投屏到电脑(UxPlay),画面转成 JPEG 帧交给 AI。 手:ESP32-S3 插在 iPhone 的 USB 口上,模拟标准 USB 鼠标和键盘;打开辅助触控后,点击就是轻点,拖动就是滑动。 大脑:支持任何兼容 OpenAI 接口、能…
LanguagePythonDTData & operationsDTLifestyle & entertainmentDTVertical agentDTiOSDTLinuxDTmacOSOriginalai-agentOriginalairplayOriginalautomationOriginalcomputer-useOriginalesp32Originalesp32-s3
About
用一块约 7 美元的 ESP32-S3 开发板,让 AI 模型操作真实的 iPhone,不需要 Mac、不需要开发者账号、不需要越狱。 主要功能: 眼睛:iPhone 通过 AirPlay 屏幕镜像投屏到电脑(UxPlay),画面转成 JPEG 帧交给 AI。 手:ESP32-S3 插在 iPhone 的 USB 口上,模拟标准 USB 鼠标和键盘;打开辅助触控后,点击就是轻点,拖动就是滑动。 大脑:支持任何兼容 OpenAI 接口、能看图的视觉模型,可以用云端 API,也可以用自己部署的模型。规划模型先写计划,执行模型再根据每一张新截图选择下一步操作。 闭环纠错:每次点击前先找到并校正指针位置,每次操作后检查屏幕是否真的变化,重复操作时自动重新规划。 手机上不需要安装任何应用,只看像素,所以任何 App(包括游戏)都能用。电脑可以是 macOS 或 Linux。 后续计划:发展成运行在自己板子上的独立设备,不需要电脑就能跑完整个流程。 演示视频: 截图:
Discovery history
- HelloGitHub·用户投稿
Oct 14, 2026 · 1 observations
- 阮一峰周刊·用户投稿
Oct 14, 2026 · 1 observations
- 阮一峰周刊·正刊推荐
Oct 16, 2026 · 1 observations
Discuss this product