LLM(大規模言語モデル)とは?文章を作るAIの仕組み

AIに文章を頼むと、質問に合わせた答えがすぐに返ってきます。その文章はどう作られ、なぜときどき間違うのでしょうか。この記事では、ChatGPT、Claude、Geminiなどに共通するLLMの仕組みを、Googleの機械学習講座をもとに説明します。
LLMとは
LLM(Large Language Model、大規模言語モデル)は、文章の続きを予測するように作られたAIのモデルです。
Googleの講座では、言語モデルを「長い並びの中に、ある言葉(トークン)が現れる確率を見積もるもの」と説明しています。LLMはこの予測を何度も繰り返し、1語ずつ文章を伸ばしていく仕組みです。数段落にわたる長い答えも、この繰り返しで作られます。
「大規模」と付くのは、モデルの中で調整される数値(パラメータ)が非常に多いためです。講座によると、その数は数千億から数兆にのぼり、パラメータが多いモデルほど性能が高い傾向があるとされています。
文章をトークンに分けて扱う
LLMは、文章をそのままではなく、トークンという小さな単位に分けて扱います。
トークンの区切り方は、単語、単語の一部、1文字など、モデルによって違います。英語では、1トークンがおよそ4文字にあたるというのが講座の説明です。サービスによっては、使った量や一度に読める長さ(コンテキストウィンドウ)を、このトークンの数で数えます。
文脈全体を見て予測する
LLMの多くは、Transformerという構造を使っています。その特徴が、自己注意(self-attention)と呼ばれる計算です。
自己注意は、ある言葉を解釈するときに、文の中のほかの言葉がそれぞれどれだけ影響するかを計算します。「銀行の口座」と「川の岸辺(bank)」のように、同じ言葉でも前後によって意味が変わる場合に、周りの言葉から正しい意味を読み取れるわけです。以前の方式は文章を前から順に読む必要がありましたが、Transformerは文脈全体を一度に見て判断できます。
もっともらしい誤りを出すことがある
LLMの答えには、まちがいが含まれることがあります。講座も、LLMの予測にはしばしば誤りが含まれると明記しており、この現象の名前は幻覚(ハルシネーション)です。
LLMは事実を調べて答えているのではなく、もっともらしい言葉の並びを予測しているにすぎません。そのため、存在しない資料や数字を、自然な文章で示してしまうことがあるのです。
大事な判断に使う答えは、元の資料で確かめてください。LLMに検索や計算などのツールを使わせ、外の情報で答えを確かめさせる仕組みが、AIエージェントです。
製品での使われ方
対話型のAIサービスの多くは、LLMを中心に作られています。OpenAIのChatGPTならGPT、AnthropicのClaudeとGoogleのGeminiなら、それぞれ同じ名前のLLMが中心です。
開発ツールや業務のソフトに組み込まれたAIの機能も、多くはこうしたLLMをAPI経由で呼び出しています。