猎豹AI实战派立即报名 ↗

业务与 Agent / PRACTICE NOTE

Gemini 的“电脑操作”能力正式 GA:AI 能点鼠标了,助理岗和 RPA 先被改写

Google 10 月 30 日宣布 Computer Use 工具在 Gemini API 上正式 GA,AI 可直接操作电脑界面点鼠标、填表单。转型中的企业不用再买一套 RPA,先把“每天重复点 50 次鼠标”的流程清单拉出来,从第一个开始试点。

摘要

Google Computer Use 工具 10 月 30 日正式 GA,AI 可直接操作电脑界面。企业应先试点固定重复的界面操作流程,再推广,替代传统 RPA 思路。

体裁
实践文章
适用对象
企业高管、运营负责人、AI 转型负责人
参考来源
2 项 · 详见文末
猎豹AI实战派约 3 分钟阅读

Google 10 月 30 日在 Gemini API 更新日志里宣布:Computer Use 工具正式 GA(一般可用),在 Interactions 和 GenerateContent 两套 API 上都能用。Computer Use 是什么:让 AI 直接操作电脑界面——看屏幕、点鼠标、填表单、翻页面,像人一样用软件。先说结论:RPA 干了十年的活(让机器代替人点鼠标),现在 AI 原生就能干了。企业要做的不是再买一套 RPA,而是把"每天重复点 50 次鼠标"的流程清单拉出来,从第一个开始试点。

从 2025 年 10 月到 GA:一年时间

时间线很短。2025 年 10 月,Google 先推出了独立的 Gemini 2.5 Computer Use 模型;2026 年 6 月 24 日,宣布把它原生集成进 Gemini 3.5 Flash,不再需要单独的模型端点;10 月 30 日,工具形态正式 GA。同一个月里,Google 还发布了 Gemini API CLI(beta,10 月 27 日)和 Gemini 4 Argon(GA,10 月 13 日)——整个 10 月,Google 的 API 团队几乎每周都有发布。

翻译成老板的话:AI 操作电脑这件事,Google 用一年时间从"实验模型"走到了"正式产品"。正式 GA 意味着有 SLA、有文档、有长期支持,企业可以把它放进生产计划了,而不是"再等等看"。

能力边界:它现在能干什么、不能干什么

能干的:标准化的、重复的界面操作——比如每天从三个系统里导出报表再拼成一份、把 Excel 里的数据一条条录进 ERP、定时检查后台有没有异常订单。这些活的特点是:步骤固定、不需要判断、但以前必须有个人坐在电脑前点。

干不好的:需要判断的、跨系统对不上的、界面一改就懵的。Computer Use 是"看屏幕点鼠标",不是"理解业务"——按钮换个位置它可能就找不到,弹出来一个没见过的报错它可能就卡住。所以它替代的不是"人",是"人手里最机械的那部分"。RPA 时代这句话就说过,AI 时代依然成立。

另外,Google 给了两个企业安全机制:敏感或不可逆操作前要求人工确认,检测到间接提示注入自动停止任务。生产环境一定要打开——让 AI 点鼠标的第一天,就要先装刹车。

转型落点:试点清单,从这五个流程开始

正在考虑流程自动化的企业,别先买大系统,先拉清单试点:

  • 每天/每周固定时间的报表导出和拼接(三个系统以内、格式固定的)
  • 跨系统的数据搬运:A 系统复制、B 系统粘贴,规则明确的
  • 异常巡检:定时打开后台、按固定条件筛一遍、有异常发通知
  • 表单批量处理:供应商信息录入、发票信息登记这类结构化录入
  • 老系统续命:厂商已经不维护、没有 API 的老系统,只能靠点鼠标操作的

试点方法:一个流程、一台测试机、两周时间,算清楚三笔账——人工做一次多久、AI 做一次多久、错一次什么代价。错一次代价大的(比如涉及付款),先不上;错一次改一下就行的,先上。RPA 时代的经验在这里完全适用:先试点、再推广,别一上来就全公司铺开。

参考来源

  1. Gemini API Release notes
  2. Gemini 3.5 Flash Gains Native Computer Use via API and Agent Platform

常见问题

Computer Use 和 RPA 有什么区别?

RPA 是按录制好的固定脚本点,界面一改就得重录;Computer Use 是 AI“看屏幕”再决定点哪,适应性强一些。但两者都不理解业务——都需要人先把流程拆成明确步骤。最大的区别是门槛:RPA 要买系统、要实施,Computer Use 是 API 调用,试点成本低得多。

现在就能用在生产环境吗?

GA 意味着有 SLA、文档和长期支持,可以进生产规划。但建议先试点:挑“错一次改一下就行”的流程,别先碰“错一次就付款”的流程。Google 还提供了企业安全机制(敏感操作需人工确认、检测到提示注入自动停),生产环境一定要打开。

CONTINUE READING

继续阅读转型经验

查看全部文章 ↗