EP11. “环境感知与操作功能”

• 这篇讲 Codex/ChatGPT 怎么「看到」和「操作」你的电脑、浏览器、语音——Browser、Computer Use、Voice、Appshots、浏览器扩展
• 这几个功能的共同点：都是让 Codex 跳出纯文字对话，直接跟你的实际操作环境互动
• 前置知识：先看过 EP05（功能地图）、EP02（权限概念，这几个功能都要额外授权）

重点内容

Browser：自带的独立浏览器

让 ChatGPT 打开网站、抓即时资讯、执行多步骤的网站操作——比较方案选项、审查正在做的网页、预览本地开发服务器。

打开方式：点工具栏或网址、手动导航，或快捷键（Mac Cmd+Shift+B、Windows Ctrl+Shift+B）。网页版和桌面 App 都能用。

ChatGPT Work 的云浏览器：碰到需要登录的网站时，走的是另一套云端浏览器——独立的 Cookie 和登录状态，不会碰到你个人浏览器打开的分页、浏览记录、存的密码；登录表单支持安全填写（密码本身模型看不到）。

开发者模式：能开完整的 Chrome DevTools Protocol 权限，拿来做性能分析、网络流量检查、DOM/样式检查、JavaScript 除错。

⚠️ 限制：网站登录功能只在特定工作区/方案开放；有些网站会拦自动化浏览器或要求验证码；CLI 和 IDE 扩展用不了这个功能；不能自动上传文件。

Computer Use：操作电脑桌面

让 ChatGPT「看到并操作」macOS 或 Windows 上的图形界面——只在 ChatGPT Work 和 Codex 桌面 App 里有。

适合场景：测试桌面应用、执行一定要用浏览器才能做的任务、重现只在图形界面才会出现的 bug、改一定要点 UI 才能改的设置、查插件拿不到的资料来源。

启用步骤：桌面 App 切到 Work 或 Codex 模式 → Plugins > Computer Use → Install plugin → macOS 要另外给「Screen Recording」和「Accessibility」权限 → 打开 Computer Use 服务器和技能开关。

平台差异：

• macOS：支持「locked use」——Mac 锁屏后还能在远程设备上继续跑任务
• Windows：只能在当前活跃桌面跑，没办法在背景执行，会占用前台

⚠️ 关键限制：不能自动化终端应用或 ChatGPT 自己；不能用管理员身份认证、也不能替你批准安全/隐私权限的系统弹窗；文件编辑和 shell 命令照样受一般的批准/Sandbox 规则约束（见 EP02）。

权限控制：每个应用第一次用都要你批准，可以选「Always allow」以后就不用重复批准；企业管理员能用「managed configuration」限制哪些应用能碰、批准规则怎么设。

Voice：语音对话

由 GPT-Live 驱动，让你用讲的跟 ChatGPT 讨论想法、协调任务，不用切回打字——桌面 App 里能用。

方案支持：Plus / Pro / Business / Edu / Enterprise 都支持，Enterprise 和 Edu 有两周的提早开放期。

启动：桌面 App 打开一个 Codex 任务或新对话 → 选「开始语音聊天」→ 第一次用要允许麦克风、选一个语音 → 可以在设置里另外设语音聊天的快捷键。

用得上的场景：自然来回对话（可以打断、追问、转话题）；委派/协调型指令，例如「审查今天的发布简报，总结哪些决定需要批准」「启动 Codex 任务跑测试，调查失败的部分」「检查目前在跑的任务，汇总卡住的地方」。

屏幕上下文（仅 macOS）：设置里开启后，说「看一下这个」，就能把当前最前面的窗口截图当成对话的上下文。

⚠️ 整个应用同一时间只能有一个语音聊天在进行；截图可能带到画面可见范围外的内容，分享前留意别露出敏感资料。

Appshots：把当前应用窗口丢进对话

把你正在用的应用窗口（含看得到的文字和可滚动区域内的文字）直接送进聊天当上下文——macOS 和 Windows 都能用。

适合场景：丢一个 API 参考页面叫它帮你写脚本、丢邮件/日历画面叫它帮你起草后续步骤、丢设计稿叫它帮你改素材、丢很难三言两语描述清楚的错误画面或设置面板。

用法：把目标应用窗口切到最前面 → 按两下 Command（Mac）或两下 Alt（Windows）→ 照提示完成权限设置 → 跟 ChatGPT 说明要做什么。

浏览器扩展

支持 Chrome、Edge、Brave、Opera、Vivaldi 五种浏览器；其中 Chrome/Edge/Brave/Vivaldi 还支持侧边栏聊天（Opera 不支持）。

功能：

• 侧边栏聊天：浏览网页的同时开侧边栏问问题，能直接利用当前页面的内容
• 提及分页：在桌面 App 里提及某个打开的分页，把那个页面当上下文；也能选取文字直接带进对话
• 网站访问管理：碰到新网站默认会先征求同意，可以选「只允许这次」「允许这个网站」「允许所有网站」几种等级

安装：桌面 App 「设置 → 计算机使用」选浏览器装插件 → 到浏览器的扩展商店装 ChatGPT 扩展 → 回桌面 App 确认已连接。

常见错误

• ❌ 以为 Browser 能直接用你平常登录好的 Chrome 分页——它是独立的浏览器配置，不会带出你个人浏览器的登录状态，需要登录的网站要另外处理
• ❌ 在 CLI 或 IDE 扩展里想用 Browser/Computer Use——这两个功能只在有图形界面的入口（网页版/桌面 App）可用
• ❌ 指望 Computer Use 能帮你点掉系统的权限确认弹窗——它明确不能替你批准安全/隐私相关的系统弹窗，这类操作还是要你自己动手
• ❌ Windows 上开了 Computer Use 就去做别的事，以为它会在背景默默跑——Windows 版会占用前台，跑任务时电脑等于被它接管，不能背景执行
• 💡 Appshot 截图/语音的屏幕上下文可能带到看不见的范围外内容，操作敏感资料时先想一下会不会截进去

Sources

官方文档：

1. Browser — https://learn.chatgpt.com/codex/browser
2. Computer use — https://learn.chatgpt.com/codex/computer-use
3. Voice — https://learn.chatgpt.com/codex/features/voice
4. Appshots — https://learn.chatgpt.com/codex/appshots
5. Browser extension — https://learn.chatgpt.com/codex/chrome-extension