マルチモーダル：文字・画像・音声をまとめて扱うAI
テキスト以外の画像・音声・動画も扱えるAIの意味と活用時の注意点
マルチモーダル（Multimodal）とは、テキストだけでなく、画像・音声・動画など複数の種類（モダリティ）のデータを扱えるAIのことです。スクリーンショットを読んで説明する、手書きメモを文字に起こす、グラフから傾向を読み取るといった使い方ができます。
「入力」と「出力」を分けて考える
マルチモーダルと一口に言っても、何を受け取り、何を出せるかはモデルごとに異なります。
- 画像を読める（入力）：写真や図表を見て説明・分析する
- 画像を作れる（出力）：テキストの指示から画像を生成する
- 音声で会話できる：話し言葉を聞き取り、音声で返す
- 動画を理解する／生成する
たとえばAnthropicのドキュメントでは、Claudeは画像を理解・分析できる一方、画像の生成や編集はできないと明記されています。「マルチモーダル対応」と書かれていても、どの方向に対応しているかを確認することが大切です。
主な活用例
- 紙の資料や名刺の写真から情報を抜き出す
- グラフや表のスクリーンショットから要点をまとめる
- アプリ画面のキャプチャを見せて操作方法を質問する
- 商品写真から説明文の下書きを作る
- 会議の録音から議事録を作る（音声対応のサービス）
うまく使うコツ
Anthropicのドキュメントでは、画像を使うときのポイントとして次が挙げられています。
- 鮮明な画像を使う：ぼやけた画像や小さすぎる画像は読み取りを誤りやすくなります。
- 文字は読める大きさで：重要な文字が小さすぎないようにします。
- 画像を先、質問を後に：画像を質問文より前に置くと結果が良くなりやすいとされています。
- 複数画像にはラベルを付ける：「画像1」「画像2」と名前を付けると比較の指示が明確になります。
苦手なこと
同じドキュメントでは、画像理解の限界として次のような点が挙げられています。
- 数を正確に数える：小さな物体が多いと、概数になることがあります。
- 位置関係・座標：空間的な判断はおおよその精度にとどまることがあります。
- AI生成画像かどうかの判定：判定を任せてはいけません。
- 人物の特定：画像の人物が誰かを特定する用途には使えません。
- 医療画像の診断：専門的な診断の代わりにはなりません。
トークンと料金
画像も内部的にはトークンに換算され、コンテキストウィンドウと料金に影響します。大きな画像はトークンを多く消費するため、必要に応じて縮小やトリミングをしてから渡すとコストを抑えられます。
注意点
- 他人が写った写真、個人情報が載った書類、社外秘の画面を送る前に、社内ルールとサービスのデータ取り扱い方針を確認しましょう。
- 読み取り結果にもハルシネーションが起こり得ます。金額や数値は元の画像と照合してください。
参考リンク
編集: AI Play 編集部 最終更新: 2026-10-25