术语
Computer Use
Next Token / Wiki

计算机操作能力

Computer use 指让模型像人一样操作计算机图形界面的能力——看屏幕、移动光标、点击、打字,从而跨应用完成任务。Anthropic 和 OpenAI 都提供了相应的计算机操作工具或模型能力。

别名

computer use agent · CUA

定义

Computer use 指让模型像人一样操作计算机图形界面的能力:看屏幕、移动光标、点击、打字,从而跨越多个应用完成任务。Anthropic 和 OpenAI 都提供了相应的计算机操作工具或模型能力。

工作方式

通常是一个循环:截取屏幕给模型,模型分析后输出点击、输入等动作指令,底层虚拟机或容器执行后再截图反馈,如此往复直到任务完成。

使用场景

缺少 API 的老旧软件、跨应用的重复操作、端到端的界面测试等,都可以交给 computer use 类智能体去执行。

易混概念

与浏览器操作相比范围更广:computer use 面向整个桌面环境,browser use 专攻浏览器内的任务。它也可视为具身智能在数字界面上的对应形态。

参考资料