Gemini 読了 6 分

GeminiのAIが画面を見て勝手に操作、APIで正式提供開始――プロンプト注入対策は標準でオフ

Shiritomo編集部 @shiritomoAI_jp 2026年11月5日更新

スクリーンショットを1枚渡すだけで、あとはAIがブラウザを開き、ボタンを押し、文字を入力してくれる。
そんな「画面を操作するAI」の仕組みが、開発者向けに正式な機能として使えるようになりました。

Googleは10月30日、Gemini APIの「Computer Use」ツールを正式提供（GA）にしたとリリースノートで案内しました。
自分でアプリやツールにAI機能を組み込んでいる開発者だけでなく、業務の自動化にAIエージェントを検討している人にも関わる話です。
あわせて、安全に使うための注意点も公式ドキュメントに明記されています。

先に結論をまとめると：
– Googleは10月30日、Gemini APIの「Computer Use」ツールをプレビューから正式提供（GA）へ切り替えました。
プレビュー版からの破壊的変更はなく、安定性が強化されています
– スクリーンショットをもとにブラウザやデスクトップ、モバイルの画面を操作できる機能で、Interactions APIとGenerateContent APIの両方で使えます
– 画面上の不正な指示に従ってしまう「プロンプトインジェクション」のリスクがあり、検出機能は初期設定でオフになっているため、開発者側で有効化と追加対策が必要です

何が起きたのか

Googleの公式アカウント「Google AI Studio」は、11月5日未明（日本時間）、Xで改めてこのGA化を伝えました。

the computer use tool in the gemini api is now generally available

no breaking changes from preview, just production-ready stability for your browser, mobile, and desktop agents

docs here: https://t.co/aAOowowA4G pic.twitter.com/4XvYVBooid
— Google AI Studio (@GoogleAIStudio) 2026年11月4日

投稿では、プレビューからの破壊的変更はなく、ブラウザ・モバイル・デスクトップ向けエージェント向けに本番運用レベルの安定性を提供する、とだけ簡潔に説明されています。
詳しい機能や注意点は、公式ドキュメント側に書かれていました。
そこで、Computer Useが具体的にどんな機能で、何に気をつければいいのかを調べてみました。

調べて分かったこと

Computer Useとはどんな機能か？

Computer Useは、AIモデルにスクリーンショットを渡すと、画面のどこをクリック・タップし、何を入力すればよいかをAI自身が判断して操作していくツールです。
2025年10月に公開されたプレビュー版から約1年を経て、今回Interactions APIとGenerateContent APIの両方でGA（正式提供）になりました。
公式のリリースノートには「Computer Useツールを、Interactions APIとGenerateContent APIの両方で正式提供（GA）にした」とだけ簡潔に記載されており、特定のモデル名などの細かい対象範囲は明記されていません。

なぜ安全面の注意点が強調されているのか？

Googleの公式ドキュメントは、Computer Useについて「ユーザーに代わって動作するモデルが、画面上の信頼できないコンテンツに遭遇したり、操作を誤ったりする可能性がある」という趣旨の注意を明記しています。
具体的に警戒されているのが、画面の中に仕込まれた「このコマンドを無視して」といった隠れた悪意ある指示にAIが従ってしまうプロンプトインジェクションです。

公式ドキュメントはこのリスクへの対策として、次の6点を挙げています。

サンドボックス化された環境（仮想マシン・コンテナ・専用のブラウザプロファイルなど）でエージェントを動かす
重要な操作には人間の確認（require_confirmation）を挟む
プロンプトに含めるユーザー生成テキストを事前にサニタイズ（無害化）する
操作してよいサイトの許可リスト・禁止サイトのブロックリストを用意する
デバッグ・監査・インシデント対応のために詳細なログを残す
ユーザー入力やツールの入出力、エージェントの応答を安全性APIなどのガードレールで評価する

注目すべきは、画面内の隠れた悪意ある指示を検知する「プロンプトインジェクション検出」機能そのものが、初期設定ではオフになっている点です。
開発者がツール設定で enable_prompt_injection_detection: true を指定して、はじめて有効になります。
機能自体はGAになりましたが、安全に使うための設定は自分で選び取る必要がある、というのが実態のようです。

業務でAIエージェントに画面操作を任せるとき、何を確認すればいいのか？

Computer Useのような「画面を代わりに操作するAI」を業務フローに組み込む場合、Google自身が注意点として挙げている上記6点は、そのままチェックリストとして使えそうです。
特に人間の確認を挟む工程と操作対象の許可リストは、実際にAIエージェントへ権限を渡す前に最低限決めておきたい設定といえます。
導入を検討する際は、プレビュー版の情報ではなく、この10月30日時点のGA版ドキュメントを基準に設定を見直すのがよさそうです。

Shiritomo編集部の考察：「できること」と「安全に使う設定」はセットで報じるべき局面に

AIエージェントが画面を直接操作できるようになると聞くと、便利さばかりが先に注目されがちです。
ですが今回Googleが自らリスクを明記し、しかも肝心の検出機能を初期設定でオフにしたまま正式提供へ踏み切った判断には、「機能の提供」と「安全な設定」を切り離して開発者の判断に委ねる、という姿勢が表れています。

SNSやメディア運用の文脈でも、生成AIエージェントに投稿作成やデータ収集を任せる動きは今後さらに広がるはずです。
その際、何ができるようになったかだけでなく、初期設定で何がオフになっているかまで確認する習慣が、運用担当者には求められそうです。
機能のリリースを追うだけでなく、セキュリティ設定のデフォルト値まで見る視点は、他のAIベンダーの新機能を評価するときにも応用できる考え方だと思います。

まとめ

Gemini APIの「Computer Use」ツールが10月30日に正式提供（GA）となり、スクリーンショットをもとに画面を操作するAIエージェントを安定して使えるようになりました。
便利な機能である一方、プロンプトインジェクション対策は初期設定でオフになっているため、導入する側が公式の推奨設定を確認したうえで使う必要がありそうです。