ハルシネーションとは?AIがもっともらしい誤りを答える理由

AIに質問したら、存在しない本や、実際とは違う数字を、自然な文章で答えられた。生成AIを使っていると、こうした経験をすることがあります。
この現象の名前が、ハルシネーションです。本記事では、ハルシネーションが起きる理由と付き合い方を解説します。
ハルシネーションとは
ハルシネーションは、生成AIが、誤った内容や事実と違う内容を、自信ありげに示してしまう現象です。
この名前は英語で幻覚を意味する言葉に由来します。作話(confabulation)とも呼ばれ、生成AIが誤った内容を作り出し、自信をもって示す現象のことです。質問や入力した資料とずれた答えや、同じ会話の中で前の発言と食い違う答えも、ハルシネーションに数えられます。
困るのは、誤りが自然な文章で、自信ありげに書かれることです。答えの自信ありげな調子のせいで、利用者が誤りを信じ、それに基づいて行動してしまうおそれがあります。もっともらしい理由や出典まで添えられ、ますます信じてしまうこともあるでしょう。
起きる理由
ハルシネーションは、生成AIの作られ方から自然に起きるものです。
LLMは事実を調べて答えているわけではありません。学習した大量の文章の傾向から、次に来そうな言葉を予測して文章を作っています。予測が事実と合っていれば正しい答えになり、合っていなければ、もっともらしい誤りになるのです。
長い答えを求める自由な質問や、高い専門性が要る分野では、特に起きやすくなります。
なくならない理由
2025年に発表された論文「Why Language Models Hallucinate」は、ハルシネーションが残り続ける理由の1つとして、AIの性能を測る方法を挙げました。
多くの性能テストは、正解した数だけで点数を付けるのが普通です。この採点では、「分かりません」と答えると0点ですが、当てずっぽうでも答えれば、当たる見込みが残ります。選択式の試験で、分からなくても何か書いたほうが得なのと同じ理屈です。
その結果、AIは分からないときも推測して答えるように育ってしまう、と論文は指摘しています。そこで論文は、分からないと正直に示した答えを誤った答えより高く評価するよう、テストの採点方法を変えることを提案しました。
付き合い方
ハルシネーションは、今の生成AIからなくすことはできません。起きる前提で使い方を工夫しましょう。
1つ目は、大事な内容は元の資料で確かめることです。数字、日付、人名、法律や医療に関わる内容は、AIの答えをそのまま使わず、公式の資料で裏を取ってください。
2つ目は、出典を確かめることです。AIが示した資料が実在するか、本当にそう書かれているかを、リンクを開いて確かめます。
3つ目は資料を渡して答えさせることです(RAG)。手元の資料や検索した結果を読ませてから答えさせれば、学習した傾向だけに頼るより誤りを減らせるでしょう。検索などのツールを使って外の情報で答えを確かめるAIエージェントの仕組みも、この考え方をさらに進めたものといえます。