羊羽'Blog

Computer Use与Browser Use:揭秘Agent如何操作电脑和浏览器

Agent操作电脑,看起来像有人在点鼠标,背后其实是模型与工具的配合:模型根据界面决定下一步,工具执行操作,再把结果交回来。本文从RPA讲起,以Codex为例,拆解Computer Use与Browser Use的架构和机制,讲清截图、可访问性和网页结构怎样帮助模型理解界面,以及鼠标动画、会话状态如何实现。结合开源工具,也看看其他Agent怎样获得这些能力。