Computer Use与Browser Use:揭秘Agent如何操作电脑和浏览器
Agent操作电脑,看起来像有人在点鼠标,背后其实是模型与工具的配合:模型根据界面决定下一步,工具执行操作,再把结果交回来。本文从RPA讲起,以Codex为例,拆解Computer Use与Browser Use的架构和机制,讲清截图、可访问性和网页结构怎样帮助模型理解界面,以及鼠标动画、会话状态如何实现。结合开源工具,也看看其他Agent怎样获得这些能力。
Agent操作电脑,看起来像有人在点鼠标,背后其实是模型与工具的配合:模型根据界面决定下一步,工具执行操作,再把结果交回来。本文从RPA讲起,以Codex为例,拆解Computer Use与Browser Use的架构和机制,讲清截图、可访问性和网页结构怎样帮助模型理解界面,以及鼠标动画、会话状态如何实现。结合开源工具,也看看其他Agent怎样获得这些能力。
以Dubbo的Filter链为例,从启停开关出发,推演default、-name、-default这套配置语法为何这样设计,以及getActivateExtension如何合并默认扩展与显式配置。
对比客户端托管的tool_use循环与服务端托管的搜索循环,说明WebSearch为何在主流程内再发起一次Messages请求。
AI让代码和文档生成更快,却容易把Skill做成“大而全”:职责混杂、资料堆积,最终拖累维护效率和上下文成本。Skill的关键不在内容多,而在边界清晰、职责明确、按需加载。
我在Eden中维护一份全局指令,再通过软链接同时提供给Claude Code和Codex。本文记录这套文件结构、初始化脚本与项目级兼容方式。
硬超时只会丢掉接近完成的成果,改为在工具调用前后注入剩余时间水位,引导Agent从探索切换到收敛并及时交付结论。
梳理MCP的会话模型演进,指出新版不再用session统一承担状态,而是拆成handle、requestState和task等语义明确的机制。
代码分析本质是ReAct循环,自研框架成本高,改用stream-json模式嵌入Claude Code,并梳理工作区隔离与权限审批等落地边界。
梳理JSON-RPC 2.0的报文结构,说明有id是调用请求、无id是通知,result与error互斥,并给出HTTP、WebSocket、SSE、stdio等传输层的接法与易踩的坑。
从共享密码的缺陷讲到非对称密钥与一次性挑战签名,说明Passkey为何天然抗钓鱼,以及业务系统该关注恢复流程与凭证管理。