Gemini Computer Use正式可用怎么上手

Google 在 2026 年 10 月 30 日的 Gemini API changelog 里宣布：Computer Use 工具正式一般可用（GA）。简单说，就是让 Gemini 看屏幕截图、返回点击和键盘等 UI 动作，再由你的客户端真正去执行——很多人把它叫作「电脑智能体」。它同时覆盖 Interactions API 与 GenerateContent API，计费走模型常规 token，没有单独的 Computer Use 费用。

本文用大白话讲清五件事：它是什么、能干什么、怎么跑通最小例子、安全上要注意什么、适合谁先上手。官方文档见文末链接。

是什么：模型看屏，客户端动手

Computer Use 不是「模型直接接管你的电脑」，而是一套看—想—做—再看的工具协议。你在请求里打开 computer_use 工具，并指定环境：browser（浏览器）、mobile（移动端）或 desktop（桌面）。

每一轮大致是这样：

把当前截图和任务提示发给模型；
模型返回带 function_call 的动作（click、type、navigate、scroll……），并附带 intent，用一句话解释为什么要这么做；
你的客户端（常见是 Playwright）在真实界面上执行；
再截一张新图，作为 function_result 发回去，直到任务完成或被中断。

坐标使用归一化刻度 0–999（文档示例也按约 0–1000 缩放）。客户端要把模型给出的 x/y 按真实分辨率换算成像素，例如 像素x = x / 1000 * 屏幕宽。推荐模型是 gemini-3.8-flash；官方还列出 gemini-4-argon、gemini-3.5-flash-lite、gemini-3-flash-preview。Python 侧请使用 google-genai ≥ 2.7.0。

可以把它理解成：模型负责「看懂界面并决定下一步」，真正动鼠标键盘的，始终是你写的执行层。

能干什么：填表、测流程、跨站调研

官方文档给出的典型场景包括：

重复性网页填表、数据录入；
Web 应用自动化测试，把用户流程跑通；
跨多个网站做调研，比如汇总电商价格与评价再做决策参考。

浏览器环境动作最全：单击/双击/右键、输入文字、打开 URL、前进后退、滚动、快捷键等。移动端还有 open_app、long_press；桌面端则更偏系统级鼠标键盘操作。你也可以排除部分预定义动作，再挂上自定义函数（例如遇到验证码时 yield_to_user 交给人工）。

对国内开发者来说，最直观的价值是：不必自己训一个「看界面点哪里」的视觉模型，用 Gemini API 就能先把「电脑智能体」闭环跑起来，再逐步接到业务系统。

怎么跑通最小例子

下面按官方文档压缩成一条可复制的起步路径。生产环境请放进沙箱或容器，不要直接连你的主力机。

1. 安装依赖

pip install "google-genai>=2.7.0" playwright
playwright install chromium

配置好 GEMINI_API_KEY（或按 SDK 文档使用的鉴权方式）。

2. 打开 Computer Use 工具

最小调用（Interactions API，环境设为 browser）：

from google import genai

client = genai.Client()

interaction = client.interactions.create(
    model="gemini-3.8-flash",
    input="Search for 'Gemini API' on Google.",
    tools=[{"type": "computer_use", "environment": "browser"}],
)
print(interaction)

可选打开提示注入检测（默认关闭，建议在会浏览不可信页面时打开）：

tools=[{
    "type": "computer_use",
    "environment": "browser",
    "enable_prompt_injection_detection": True,
}]

3. 接上 Playwright 执行层

完整智能体还需要你自己补齐四块：

用 Playwright 启动浏览器，固定视口（官方示例常用 1440×900），先打开起始页并截图；
把截图（base64）和用户目标一起发给模型；
解析返回的 function_call，把 0–999 坐标映射到像素后执行 click/type/navigate 等；
把执行结果 + 新截图以 function_result 继续发回（可带 previous_interaction_id），并设置回合上限（官方示例常用 turn_limit），防止死循环。

模型返回的动作示例大致是：{"type":"function_call","name":"click","arguments":{"x":450,"y":120,"intent":"点击搜索框"}}。你的代码读到 intent 后便于日志审计；读到坐标后先反归一化再点。

4. 先跑一个「看得见」的小目标

建议第一次只做低风险任务，例如：打开文档站 → 搜索某个关键词 → 把结果标题读出来。把 headless=False，亲眼看模型每一步点了哪里，比一上来就自动化登录、下单靠谱得多。

安全注意：能动手就更要设闸

Google 明确提醒：请密切监督；避免用于关键决策、敏感数据，或出错后难以挽回的操作。 Computer Use 可能包含错误和安全风险，官方也指向安全最佳实践与附加服务条款。

内置安全策略类别包括（不完全列举）：

FINANCIAL_TRANSACTIONS：支付、结账、管制商品等；
SENSITIVE_DATA_MODIFICATION：健康、金融、政务类敏感记录；
COMMUNICATION_TOOL：自发邮件、聊天消息；
ACCOUNT_CREATION：自动注册账号；
以及数据修改、用户同意管理、法律条款同意等。

响应里可能出现 safety_decision。若为 require_confirmation，客户端应先问人，用户确认后再在 function_result 中带上安全确认；若被拦截则应停止或按你的策略处理。即便你用 disabled_safety_policies 覆盖了部分策略，模型仍可能要求确认，客户端必须始终实现确认逻辑。

落地清单可以记成四条：

沙箱执行：Docker / 专用浏览器配置 / 隔离虚拟机，限制能访问的目录和账号；
人机确认（HITL）：支付、发信、删数据、接受协议前必须停下来问人；
可观测：记录每步提示、截图、建议动作与最终执行结果，方便排查和审计；
提示注入防护：浏览不可信站点时打开 enable_prompt_injection_detection，并对用户输入做基本清洗。

适合谁

开发者与测试同学：想把「看界面点点点」的回归流程自动化，又希望少写脆弱的选择器脚本；
做 Agent 产品的团队：需要浏览器或桌面级工具调用，并想用 Gemini 官方 Computer Use 工具链；
研究者与爱好者：想亲手体验「看截图 → 点鼠标」的电脑智能体闭环。

还不适合把支付、对外发信、删库、接受法律协议这类高风险动作，完全交给无人值守的循环。能力越强，权限越小、确认越多，反而越稳。

和纯聊天模型相比，Computer Use 把「理解」和「操作」拆开了：理解交给 Gemini，操作留在你可控的客户端。这也意味着你能换执行环境、加白名单站点、强制确认，而不是把整台电脑交给黑盒。起步阶段宁可慢一点、确认多一点，等日志和截图链路稳定，再考虑提高自动化比例。

一句话总结

Gemini API 的 Computer Use 已于 2026-10-30 GA：模型看屏出动作，你的客户端执行并回传新截图。优先用 gemini-3.8-flash + browser 跑通最小循环，把沙箱、回合上限和安全确认准备好，再逐步扩大到测试与调研场景。