トークンは、言語モデルがテキストを読み書きする単位です。モデルがプロンプトを受け取る前に、tokenizer がテキストを断片に切り、各断片を語彙表の番号に置き換えます。API の料金もレート制限もコンテキストウィンドウも、この数で決まります。
この記事では、実際のテキストがどう切られるか、バイト単位 BPE が区切りをどう決めるか、同じ文が GPT・DeepSeek・Claude・Gemini で違う数になる理由、そしてその数を料金とコンテキストの確認にどう使うかを扱います。以下の数字はすべてトークン数カウンターで計測したもので、OpenAI の tiktoken、DeepSeek 公式の tokenizer と同じ結果です。料金と上限は 2026-10-01 に各社の公式ページで確認した値です。
トークンは番号の付いた断片
「東京の天気は晴れ」(8 文字)を 3 つの tokenizer で数えます。
| tokenizer | 主なモデル | トークン数 |
|---|---|---|
| o200k_base | GPT-5.x、GPT-4.1、GPT-4o | 7 |
| DeepSeek V4 | deepseek-flash、deepseek-v4-pro | 7 |
| cl100k_base | GPT-4、GPT-3.5 Turbo | 10 |
GPT-4 の cl100k_base は語彙が約 10 万で、語彙にない漢字を UTF-8 のバイト単位に分けます。GPT-4o 以降の o200k_base は約 20 万語彙で、同じ文が 7 トークンに減ります。
短いあいさつでは順位が入れ替わります。「こんにちは、世界」は o200k_base で 3、cl100k_base で 5、DeepSeek V4 で 7 トークンです。
トークンは文字でも単語でもありません。3 文字の単語が 1 トークンになることも 2 つに割れることもあり、1 つの漢字が 1 トークンにも 2 つのバイトトークンにもなります。決めるのは語彙表と結合規則だけです。
tokenizer が区切りを決める仕組み
GPT と DeepSeek の tokenizer はバイトレベルの BPE(byte pair encoding、Sennrich ら 2016 年の論文)です。
- 正規表現でテキストを単語、数字、記号、空白などのまとまりに粗く分けます。まとまりをまたいだ結合はしません。DeepSeek V4 はさらに、漢字・ひらがな・カタカナが続く部分を独立したまとまりとして切り出します。
- 各まとまりを 1 バイトずつから始め、学習で決まった順位の高い隣接ペアを繰り返し結合します。
語彙数は cl100k_base が 100,277、o200k_base が 200,019、DeepSeek V4 が 129,280 です(特殊トークンを含む)。
正規表現による事前分割は見落としやすい部分です。結合表に「の」と「天気」があっても、正規表現がすでに 2 つのまとまりに分けていれば結合されません。逆に、英語中心のコーパスで学習した o200k_base が日本語のよくある語を 1 トークンで持てるのは、語彙表にバイトだけでなく語そのものが入っているからです。DeepSeek は漢字・かなの連続を別のまとまりとして扱うため、同じ文の中でも英単語と日本語の語は別の規則で数えられます。
同じ文でも数が違う
数は同じ tokenizer の中でのみ比較できます。短い文を 3 つで数えるとこうなります。
| テキスト | 文字数 | o200k_base | cl100k_base | DeepSeek V4 |
|---|---|---|---|---|
| What is a token in AI? | 22 | 7 | 7 | 7 |
| こんにちは、世界 | 8 | 3 | 5 | 7 |
| 東京の天気は晴れ | 8 | 7 | 10 | 7 |
| 什么是 AI 里的 token? | 16 | 7 | 10 | 6 |
英語は 3 つの tokenizer でほとんど変わりません。日本語は大きく変わり、テキストが長くなるほど差が開きます。カウンター内蔵の日本語サンプル(275 文字のレビュー依頼)では、DeepSeek V4 が 180、o200k_base が 189、cl100k_base が 242 トークンです。
同じ 275 文字が 180、189、242。最大と最小で 34% の差があります。各社の目安はこの差を隠します。OpenAI のヘルプは英語で「約 4 文字、0.75 語」、Google は Gemini について「1 トークンは約 4 文字」、DeepSeek は「英字 1 文字は約 0.3 トークン、漢字 1 文字は約 0.6 トークン」としています。275 文字に「4 文字で 1 トークン」を当てると 69 で、実際の 4 割にも届きません。各社とも、実際の数は API の返す値を正とすると補足しています。
見積もりの誤差がどちらに転ぶかは重要です。日本語では文字数からの概算は半分以下になりがちです。英語の散文は 4 文字で 1 トークンに近いものの、コード・JSON・表は記号・インデント・繰り返すキー名で増えます。予算や上限の判定には、そのリクエストを処理する tokenizer で数えた値を使ってください。
Claude と Gemini をローカルで数えられない理由
Claude と Gemini は、ローカルで動かせる tokenizer が公開されていません。Anthropic は、Claude 4.7 以降は新しい tokenizer で同じテキストのトークンが約 30% 増えると説明しています。古いモデルで数えた値を新しいモデルの見積もりに使うとずれます。
各社が提供するのは語彙表ではなく計数 API です。
- Claude は
POST /v1/messages/count_tokens。本文はメッセージリクエストと同じで、結果は推定値とされ、独自のレート制限があります。 - Gemini は
models.countTokens。 - OpenAI の
POST /v1/responses/input_tokensは、役割と区切りの書式トークン、画像、ファイル、ツール定義まで含めて数えます。
最後の点が「テキストの数」と「請求」の分かれ目です。ローカルの tokenizer は 1 つの文字列を測ります。実際のチャットリクエストには役割マーカー、区切り、システムプロンプト、ツールの schema が加わります。これらを含められるのは提供元の API だけで、「このリクエストが収まるか」を判断するときはそちらを使います。
GPT-6 も同じです。tiktoken 0.14.0 の対応表に GPT-6 はなく、OpenAI は tokenizer を公開していません。カウンターは Claude、Gemini、GPT-6 の行に ≈ を付け、o200k_base の値を参考として表示します。この値はプロンプト同士の長さ比べには使えますが、請求額ではありません。公開されていない tokenizer で「GPT-6 の正確なトークン数」を出すツールは推測しています。
コンテキスト上限の読み方
コンテキストウィンドウは、1 回のリクエストでモデルが保持できるトークンの上限です。提供元は出力側にも別の上限を設けています。カウンターの「コンテキスト」列が割っているのは入力上限です。テキスト自体が上限を超えると行が強調されますが、ちょうど収まるテキストでも指示や書式トークンが加わるため、実際には収まりません。
| モデル | 入力上限(トークン) | 引っかかる場面 |
|---|---|---|
| gpt-4o | 128,000 | 長い文書は新しいモデルより早く分割が必要 |
| gpt-5.4-mini | 272,000 | gpt-5.5 の長文価格の境目と同じ |
| gpt-5.5 | 1,050,000 | 入力が 272,000 を超えるとリクエスト全体が高い単価に |
| claude-opus-5-5 | 1,000,000 | ローカル tokenizer なし。count_tokens を使う |
| gemini-3.1-pro-preview | 1,048,576 | 入力が 200,000 を超えるとリクエスト全体が高い単価に |
| text-embedding-3-small | 8,192 | 1 入力あたり。文書はこの長さで分割 |
上限は各モデルページの入力上限で、2026-10-01 に確認した値です。実務では 2 つの帰結があります。1 つ目は、埋め込みの分割は文字数ではなくトークン数で行うこと。8,192 トークンの上限なら、10 万文字の英文は 3〜4 個、同じ文字数の日本語はさらに多くの塊になります。2 つ目は、長文の割増がしきい値を超えた部分だけではなくリクエスト全体に掛かること。272,000 トークンをわずかに超えたリクエストは、わずかに下回るものより 2 倍以上高くなることがあります。
料金表の読み方
API の料金は 100 万トークンあたりで、入力と出力が別建てです。
cost = input_tokens × input_price / 1,000,000 + output_tokens × output_price / 1,000,000
2026-10-01 の価格で、上の日本語サンプルに出力 1,000 トークンを足すと、gpt-5.5 は $0.031(入力 $5、出力 $30、189 トークン)、deepseek-flash のピーク時は $0.001254($0.30 と $1.20、180 トークン)です。どちらも出力が大半を占めます。短いプロンプトでは、回答の長さが請求額を決めます。
計算を変える 3 つの条件があります。
- 長文の割増:gpt-5.5 と GPT-6 は入力 272,000 トークン超でリクエスト全体が入力 2 倍・出力 1.5 倍、gemini-3.1-pro-preview は 200,000 トークン超で単価が上がります。カウンターは単価を切り替えて行に印を付けます。
- 時間帯料金:DeepSeek は日本時間の平日 10 時〜13 時と 15 時〜19 時以外が半額です。カウンターは両方を表示し、中国語の価格ページには人民元の値(deepseek-flash は入力 2 元・出力 8 元 / 100 万トークン、2026-10-01)があります。
- 含まれないもの:バッチ割引、プロンプトキャッシュ、個別契約の価格は表に入っていません。キャッシュが効くと入力は標準価格の一部になり、実際の請求はこの見積もりより下がります。
価格とモデル名は予告なく変わります。表の下の日付は確認日です。予算に組み込む前に、リンク先の公式ページを読み直してください。
見積もりと送信前チェック
手元に文字数しかないことはよくあります。CMS の文字数制限、ログの 1 行、エディタの下書きです。誤差の向きを知っていれば、範囲を出すことはできます。
| テキスト | 実務的な目安 | この記事の実測 |
|---|---|---|
| 日本語 | 1 文字あたり 0.6〜1.0 トークン | 275 文字 → 180〜242 |
| 英語の散文 | 1 トークンあたり約 4 文字 | 22 文字 → 7(1 トークン 3.1 文字) |
| 中国語 | 1 文字あたり 0.5〜1.0 トークン | 192 文字 → 111〜172 |
| 韓国語 | 1 文字あたり 0.5〜1.0 トークン | 277 文字 → 164〜231 |
| JSON・コード・ログ | 記号・インデント・キー名を別に数える | 先に圧縮してから数える |
範囲はわざと広く取っています。この記事の実測と各社の公開比率から来たもので、言語モデルによる計算式ではありません。ざっと見るときは下限、超えてはいけない上限には上限を使ってください。
実際に使う数は次の順で確定します。
- まず単語・文字数カウンターで文字数と語数を数え、貼り付けが途中で切れていないか確認します。
- モデルが o200k_base、cl100k_base、DeepSeek V4 なら、トークン数カウンターの値が正確です。
- Claude、Gemini、GPT-6 は、リクエスト全体を提供元の計数 API に送ります。英語の文字比率を日本語の文字数に掛けた値を予算にしないでください。
- システムプロンプト、ツール定義、回答の分を余裕として残します。コンテキスト上限に近いときは、出力上限ではなく入力を短くします。
長いプロンプトで起きる問題の多くは、tokenizer の計算違いではなく、送った中身が想定と違うことです。4 つの手順で確認します。
- 先にペイロードを小さくする。整形された JSON は空白・改行・繰り返すキー名もトークンになります。先に JSON 整形・構文チェックで圧縮し、その文字列を数えます。リクエスト本文を文字列として送るなら、圧縮後のテキストが実際に送られる内容です。
- 必要なフィールドだけ取り出す。JSON Lines のログは jq で絞り込んでから数えます。jq Playground は同じフィルタをブラウザで実行し、出力をそのままカウンターに貼れます。
- 対応する tokenizer で数える。o200k_base、cl100k_base、DeepSeek V4 はカウンター、Claude・Gemini・GPT-6 は提供元の API です。
- 上限と料金に照らす。コンテキスト列で入力自体が上限を超えていないか、料金表で入力と想定出力の費用を確認します。しきい値に近いときは、数文字の変更で高い側に移ることがあります。
文字数も無駄ではありません。貼り付けの欠落を最も早く見つける方法で、CMS のフィールドや maxlength の単位でもあります。ただし、それは文本の大きさであってトークン数ではありません。
コードで数える
OpenAI のモデルは tiktoken(0.14.0)で数えます。
import tiktoken
enc = tiktoken.get_encoding("o200k_base")
print(len(enc.encode_ordinary("東京の天気は晴れ"))) # 7
print(tiktoken.encoding_name_for_model("gpt-5.5")) # o200k_base
ユーザー入力には encode_ordinary() を使います。encode() は <|endoftext|> を含むテキストで ValueError になります。tiktoken の対応表に GPT-6 はありません。
DeepSeek はオフライン計算パッケージの tokenizer.json を tokenizers で読み込みます。パッケージのサンプルは transformers を使いますが、2026 年 10 月 1 日の確認では transformers 5.18.0 で中国語テキストが空のリストになりました。4.57.6 か tokenizers を直接使うと正しい ID が返ります。
from tokenizers import Tokenizer
tok = Tokenizer.from_file("tokenizer.json") # オフラインパッケージ内のファイルのパス
print(len(tok.encode("東京の天気は晴れ").ids)) # 7
JavaScript の移植版には別の落とし穴があります。js-tiktoken は正規表現の \s を JavaScript の規則で読むため、U+FEFF を含み U+0085 を含みません。tiktoken は Unicode White_Space を使うので、BOM で始まるテキストは分割が変わることがあります。結合ループも長い連続文字列で遅く、2026-10-01 の測定では句読点のない漢字 2 万字が Node.js で 229 秒かかりました。カウンターは \s を書き換え、優先度付きキューで結合し、1,500 以上の文字列で tiktoken と tokenizers の ID を突き合わせています。
さらに読む
- tiktoken のモデル対応表と OpenAI のトークン計数ガイド
- Anthropic:token countingと料金
- Google:understand and count tokens
- DeepSeek:トークンと使用量と料金
- Sennrich、Haddow、Birch、Neural Machine Translation of Rare Words with Subword Units(ACL 2016)、BPE の原論文
- 関連ツール:単語・文字数カウンター、JSON 整形・構文チェック、jq Playground、APIキーマスキング