执行摘要
最新版 Windows Codex 更新通过 Computer Use 功能带来了对屏幕、光标以及单项应用的自主控制。
Windows Computer Use 被呈现为前台桌面控制模式,而移动端访问让用户可以远程监控和管理活跃的 Codex 任务。
全新的 ChatGPT 移动端应用集成支持用户在旅途中监控活跃的工作流并启动新的桌面任务。
要连接移动设备,用户只需登录账户,扫描生成的二维码,即可关联其活跃的 Windows 工作站。
关键要点
- Codex 现在可以代表用户在任何已安装的原生 Windows 应用程序中执行复杂的自动化工作流。
- 启用 Computer Use 时,应在 Codex 提示中使用 @Computer 或提及具体应用,并先在设置中开启该功能。
- 用户可以直接 @mention 提及特定的本地应用,以引导 Codex 准确执行所需的自动化任务。
- 运行时,Codex 会明显接管光标并改变桌面视觉呈现,以指示当前的自动化会话处于活跃状态。
- 移动端配置通过 Codex 桌面主软件内全新的连接图标或设置菜单进行处理。
- 远程管理要求宿主 Windows 电脑保持开机状态并主动连接到互联网。
- iOS 和 Android 上的 ChatGPT 移动端应用可作为通用控制面板,用于监督正在进行的后台自动化序列。
构建者启发
- 开发者可以设计跨应用程序的自动化管线,直接与传统的原生 Windows 桌面软件进行交互。
- 对于重度浏览器任务,应先判断任务适合通过可见桌面控制运行,还是通过单独的浏览器自动化路径运行,再交给 Codex。
- 通过 @mention 语法,构建者获得了一种直接的定位机制,可在对话脚本中无缝编排特定的软件工具。
- 移动端访问能力为部署持久的、异步的后台辅助程序开启了新模式,可在外部进行验证与管理。
- 在活跃运行期间对物理桌面的接管,突显了设计理念向解耦的异步操作(而非实时协同操作)的转变。
待验证事项
- 验证 Codex 在传统的原生应用中编排复杂交互时的性能开销和错误处理机制。
- 测试通过蜂窝网络查看活跃桌面会话时,ChatGPT 移动端控制面板的延迟和同步准确性。
- 确保本地系统的隐私壁垒和企业安全组策略不会与远程执行权限发生冲突。
- 检查在多标签页 Chrome 插件与全局 Computer Use 模式之间切换上下文时的严格行为边界。
