コンピューターユースとは？AIが画面を見てパソコンを操作する仕組み

確認日：2026年10月7日

AIエージェントの中には、人と同じようにパソコンの画面を見て、ボタンを押したり文字を入力したりするものがあります。専用の窓口を持たないソフトでも、画面さえ見えれば操作できるという考え方です。

この仕組みを、コンピューターユースと呼びます。本記事では、AIの開発元の公式ドキュメントと発表をもとに、AIがどうやって画面を操作しているのかを解説していきましょう。

コンピューターユースとは

コンピューターユースは、LLMが画面の画像（スクリーンショット）を見て、マウスとキーボードの操作を指示する仕組みです。

コンピューターユースの繰り返し。アプリが画面を撮ってLLMに渡し、LLMが画面を見て次の操作を決め、クリックする座標や入力する文字を返す。アプリがマウスとキーボードを操作し、また画面を撮る

LLMは画面を見て次の操作を決め、「この座標をクリックする」「この文字を入力する」といった指示を返します。アプリがその指示どおりにパソコンを操作し、変わった画面を撮って、またLLMに渡すのです。目的を果たすまで、この繰り返しが続きます。

Anthropicは2024年10月にこの機能を公開ベータとして発表しました。説明によると、AIは画面を見てカーソルを動かし、ボタンを押して文字を入力できます。現在はOpenAIやGoogleも、APIで同じ種類の機能を提供中です。

ツールユースとの違い

コンピューターユースは、ツールユースの一種です。「画面を撮る」「クリックする」といった操作を、ツールとしてLLMに渡しています。LLMが使いたい操作を返し、アプリが実行して結果を返す流れも、ほかのツールと変わりません。

ツールユースでは、LLMが天気を調べるのような決まった窓口の名前と値を指定する。コンピューターユースでは、LLMが人と同じ画面の画像を見て、クリックする座標や入力する文字を指定する

大きく違うのは、相手の窓口です。普通のツールは、「天気を調べる」のような決まった窓口（API）を、名前と値で呼び出します。コンピューターユースが相手にするのは、人が使うのと同じ画面です。窓口が用意されていない古いソフトや、APIを公開していないサービスでも、画面さえあれば操作できるのが強みでしょう。

Anthropicは発表の中で、これまでは「ツールをモデルに合わせて作ってきた」のに対し、これからは「モデルを、人が毎日使うコンピューターの環境に合わせられる」と書きました。

その代わり、画面を1枚ずつ見て判断するため、APIを呼ぶより時間がかかり、誤りも起きやすくなります。APIで済む作業はツールユースで、Webページの中で済む作業はブラウザー用のツールで行い、どちらもないときにコンピューターユースを使う、という使い分けが現実的です。Claudeのドキュメントも、Webページの中だけで済む作業には、ブラウザー用のツールを勧めていました。

操作が進む流れ

アプリとLLMは、画面の画像と操作の指示をやりとりしながら作業を進めます。

コンピューターユースの流れ。アプリがLLMに依頼と画面の画像を渡す。LLMはクリックする座標などの操作を返し、アプリがパソコンを操作して、変わった画面を撮り、LLMに渡す。LLMが操作を返す間はこれを繰り返し、最後にLLMが終わりを伝える

アプリは最初に、利用者の依頼と、いまの画面の画像をLLMに渡します。LLMは画面を見て、たとえば「座標（640, 120）をクリック」という操作を返すでしょう。この座標は、画面の画像の左上を原点にした画素の位置です。

アプリはその操作をパソコンで実行し、変わった画面を撮り直してLLMに渡します。LLMは新しい画面を見て、操作がうまくいったかを確かめてから、次の操作を決めるという具合です。これを繰り返し、目的を果たしたところで、LLMは操作を返すのをやめて終わりを伝えます。

1回の返事で「クリックして、文字を入力して、画面を撮る」のように、複数の操作をまとめて返す場合もあるでしょう。アプリは順番に実行し、途中で失敗したら残りは実行しません。

Anthropicは、画面の画素を正確に数えられるようにする訓練が、この機能の決め手だったと説明していました。画素を数えられなければ、どこをクリックすればよいかを、LLMが指示できないためです。

できる操作

LLMが指示できる操作は、人がマウスとキーボードでできることとほぼ同じです。

LLMが指定できる操作の例。見る操作として画面を撮る、拡大して見る。マウスの操作としてクリック、ダブルクリック、ドラッグ、スクロール。キーボードの操作として文字を入力、キーを押す。そのほかに待つ

Claudeのドキュメントに並ぶ操作は17種類です。クリックだけでも、左、右、ダブル、トリプルなどに分かれています。小さな文字を読むときに、画面の一部を拡大して確かめる操作まで用意されていました。

OpenAIやGoogleのドキュメントにも、図とほぼ同じ操作が載っています。Googleはスマートフォン向けに、アプリを開く操作や長押しの操作も用意していました。

安全に使うための備え

コンピューターユースでは、画面に映ったものが、すべてLLMへの入力になります。開いたWebページに「この指示に従え」という文が書かれていれば、LLMがそれを利用者の指示と取り違えるおそれがあるのです。この攻撃はプロンプトインジェクションと呼ばれ、Anthropicも機能の発表時から、主な懸念に挙げていました。

コンピューターユースを安全に使うための4つの備え。専用の仮想マシンで動かす、ログイン情報などを渡さない、つながる先を許可した一覧に絞る、取り消せない操作は人が確かめる

Claudeのドキュメントは、次のような備えを勧めています。

権限を絞った専用の仮想マシンやコンテナ（サンドボックス）の中で動かす
ログイン情報のような機密の情報に触れさせない
つながる先のサイトを、許可した一覧に限る
現実に影響が出る判断は、人が確かめる

OpenAIとGoogleのドキュメントも、同じ趣旨の備えを挙げていました。Googleは、支払いや法的な同意のような操作の前に、確認を求める合図をLLMの返事に含める仕組みを用意しています。OpenAIのドキュメントには、ページや文書の中の文は許可を与えられない、という一文もありました。

製品での使われ方

コンピューターユースは、Anthropic、OpenAI、GoogleがそれぞれAPIの機能として提供中です。開発者はこれを使って、パソコンやブラウザーを操作するAIエージェントを作れます。

利用者が使う製品では、ブラウザーを操作するAIエージェントが身近な例です。このサイトでは、ブラウザーを操作するAIエージェントを追加する手順を、【Claude】Google Chromeに拡張機能を追加する方法で紹介しています。