推論モデルとは?AIが答える前に考える仕組み

AIのチャットで難しい質問をすると、「考え中」と表示されてから答えが返ってくることがあります。すぐに答えを書き始めるのではなく、答える前に考える段階を挟むAIが増えてきました。
こうしたAIを、推論モデルと呼びます。本記事では、AIの開発元3社の公式ドキュメントをもとに、推論モデルの仕組みと使いどころを解説していきましょう。
推論モデルとは
推論モデルは、答えを書く前に、問題を考える段階を挟むLLMです。各社の機能の名前では、「thinking(考える)」や「reasoning(推論)」と呼ばれています。
Claudeのドキュメントは、1回で答えるモデルには下書きも見直しもなく、最初の1回で正しく答えるしかないと説明していました。考える段階があれば、AIは問われていることを言い直してやり方を試せます。途中の結果を確かめ、うまくいかない道を捨ててから答えられるのです。
そのため、数学、プログラム、分析、長い作業のように、途中の作業が答えの質を左右する問題で、性能が上がるとされています。Googleのドキュメントも、考える過程によって推論と段階的な計画の力が大きく上がると書いていました。
考える量を調整できる
推論モデルの多くは、どのくらい考えるかを調整できます。
考える量を少なくすると、答えが速く返り、費用も抑えられます。多くすれば時間と費用はかかるものの、難しい問題を丁寧に考えさせることが可能です。Googleのドキュメントは、事実の確認や分類のような簡単な質問には少なく、難しいプログラムや数学には多く、という使い分けを例に挙げていました。
AIが問題の難しさを見て、考える量を自分で決める仕組みもあります。Claudeのドキュメントによれば、簡単な依頼では考える段階そのものを省く場合もあるとのことです。
考えた分も料金と上限に入る
考える段階で作られた文章も、AIの出力の一部として扱われます。
3社のドキュメントは、いずれも、考えた分のトークンを料金に含めると書いています。OpenAIのドキュメントは、考えた分のトークンはAPIからは見えないが、一度に読める量(コンテキストウィンドウ)を使い、出力として課金されると説明していました。
考えた中身がそのまま見えるとは限りません。Claudeのドキュメントによれば、見えるのは考えた過程の要約で、生の思考過程を返す設定はないとされています。OpenAIとGoogleも、見せるのは要約の形でした。
向いている作業と向いていない作業
推論モデルが力を発揮するのは、答えまでにいくつもの段階がある作業です。計算、プログラムの不具合探し、複数の条件を満たす計画づくり、長い資料の分析などが当てはまります。
反対に、言葉の意味を聞く、文章を短く言い換えるといった簡単な作業では、考える段階が待ち時間を延ばすだけになりがちです。OpenAIのドキュメントも、遅れが問題になる作業には、考える量を減らすか、普通のモデルを使うよう勧めていました。
考える段階を挟んでも、答えに誤りが含まれる可能性は残ります。もっともらしい誤り(ハルシネーション)への注意は、普通のモデルと変わりません。
製品での使われ方
推論の機能は、Anthropic、OpenAI、Googleの主なモデルに備わっています。開発者向けのAPIでは、Claudeは effort、OpenAIは reasoning effort、Geminiは thinking level という設定で、考える量を調整できました。
チャットのAIでは、考える段階の有無や長さを、画面のモードの切り替えで選べるものがあります。難しい相談のときだけ考える量の多いモードを使うと、待ち時間と答えの質の釣り合いをとりやすくなるでしょう。