ITワクワク塾マルチモーダルとは？AIが画像や音声を読み取る仕組み
スマートフォンで撮った書類の写真をAIに渡して、内容を要約してもらう。会議の録音を渡して、議事録を作ってもらう。いまのAIは、文章だけでなく、画像や音声も読み取れるようになりました。
このように、複数の種類の情報を扱えることを、マルチモーダルといいます。本記事では、AIの開発元の公式ドキュメントをもとに、AIが画像や音声をどう読んでいるのかを解説していきましょう。
マルチモーダルとは
マルチモーダルは、文章、画像、音声、動画など、種類の違う情報（モダリティ）をまとめて扱えることを指す言葉です。
マルチモーダルなLLMは文章と一緒に画像や音声を受け取り、まとめて読んで答えを作ります。複数の画像を渡して違いを比べさせたり、図の入ったPDFを読ませたりもできるでしょう。
この記事で扱うのは、画像や音声を「読み取る」働きです。画像や音声を「作る」のは別の機能で、Claudeのドキュメントも、Claudeは画像を理解するだけで作ったり編集したりはできないと明記していました。
画像や音声もトークンとして数える
LLMは文章をトークンという単位に分けて扱います。画像や音声も、同じようにトークンに直して読む仕組みです。
Claudeのドキュメントによれば、Claudeは画像を画素ではなく、縦横28画素の区画（パッチ）単位で見ています。1区画が1トークンなので、1000×1000画素の画像はおよそ1300トークンです。大きすぎる画像は、モデルの上限に合わせて縮めてから読みます。OpenAIのドキュメントも、32画素四方の区画で数える方式を説明していました。
音声の場合、Googleのドキュメントは、1秒の音声を32トークン、1分を1,920トークンと数えています。画像や音声も、文章と同じく、一度に読める量（コンテキストウィンドウ）と料金に含まれるということです。
得意なことと苦手なこと
画像を読み取るAIには、得意なことと苦手なことがあります。
写っている物の説明、グラフや表の読み取り、書類の文字の読み取りは、よく使われる用途です。音声なら、Googleのドキュメントは、要約、文字起こし、翻訳、話者の聞き分けなどを挙げていました。
苦手なことについては、ClaudeとOpenAIのドキュメントがそろって次のような点を挙げています。
- 小さすぎる画像や、回転した画像、ぼやけた画像の読み取り
- 物の正確な位置や座標を答えること
- たくさんの小さな物を、正確に数えること
- CTやMRIのような専門的な医療画像の判断
Claudeのドキュメントは、画像がAIで作られたものかどうかを見分けられない点にも触れていました。OpenAIのドキュメントには、日本語や韓国語のようなラテン文字以外の文字は、うまく扱えない場合があるとの注意書きがあります。画像の読み取りでもハルシネーションは起きるため、大事な場面では人が確かめましょう。
使うときのコツ
画像を渡すときは、次の点を気にかけると、読み取りの精度が上がります。
- 文字が小さすぎないよう、必要な部分を大きく写す
- ぼやけや傾きのない、はっきりした画像を使う
- 画像を先に置き、質問をその後に書く
画像を先に置く順番は、Claudeのドキュメントが勧めている方法です。複数の画像を渡すときは、「画像1」「画像2」のように名前を添えると、どの画像の話かを伝えやすくなります。
製品での使われ方
チャットのAIの多くは、画像やPDFを添付して質問できます。Claude、OpenAI、Googleの現行のモデルは、いずれも画像の入力に対応していました。
AIがパソコンの画面の画像を見て操作するコンピューターユースも、画像を読み取る力があって初めて成り立つ仕組みです。