トークン：AIが文章を数える単位
LLMが文章を処理・課金する最小単位「トークン」の基礎知識
トークン（Token）は、大規模言語モデル（LLM）が文章を処理するときの最小単位です。AIは文章をそのまま読むのではなく、トークンという断片に分解してから扱います。入力できる長さの上限やAPIの料金もトークン数で決まるため、AIを使ううえで押さえておきたい基本概念です。
トークンとは
LLMに文章を渡すと、まず「トークナイザー（Tokenizer）」という仕組みが文章を細かい単位に区切ります。この単位がトークンです。トークンは単語のこともあれば、単語の一部、1文字、さらにはバイト単位のこともあります。
たとえば英語では、よく使われる単語は1トークンになりやすく、珍しい単語は複数のトークンに分かれます。日本語は単語の区切りがスペースで示されないため、英語とは分かれ方が異なります。
文字数とトークン数の関係
1トークンが何文字に当たるかは、モデルと言語によって変わります。Anthropicの用語集では、同社の従来モデルでは1トークンが英語で約3.5文字に相当すること、そして新しい世代のトークナイザーでは同じ文章でもトークン数が約3割多くなることが説明されています（2026年10月時点）。このように同じ文章でも、モデルが違えばトークン数は変わります。
正確な数を知りたいときは、各社が提供するトークン数の計測機能（トークンカウントAPIなど）を、実際に使うモデルで試すのが確実です。
なぜトークンが重要なのか
1. 入力・出力の長さの上限
1回のやり取りで扱える量は、トークン数で上限が決まっています。この上限をコンテキストウィンドウと呼びます。長い資料を丸ごと渡すときは、上限内に収まるかを意識する必要があります。
2. 料金
多くのAI APIは、入力トークンと出力トークンの数に応じて課金されます。一般に出力トークンのほうが単価が高く設定されています。詳しくはAPIと料金の考え方（トークン課金）を参照してください。
3. 処理速度
出力トークンが多いほど、回答が完了するまでの時間は長くなります。
トークンを節約するコツ
- 不要な部分を削ってから渡す：資料の目次・ヘッダー・定型文など、判断に不要な部分を取り除きます。
- 出力の長さを指定する：「300字以内で」「箇条書き5点で」など、必要な分量を明示します。
- 同じ前提を何度も貼り付けない：チャットでは過去のやり取りも毎回入力として数えられます。話題が変わったら新しい会話を始めるのも有効です。
よくある誤解
- 「1文字＝1トークン」ではありません。言語・モデルで大きく異なります。
- 画像や音声も、内部的にはトークンに換算されて上限や料金に影響します（マルチモーダル参照）。
参考リンク
編集: AI Play 編集部 最終更新: 2026-10-25