AI トークンカウンター

使い方

1. プロンプトを入力欄に貼り付けるか入力します。カウントとコストカードはタイピングと同時に更新されます。
2. 各モデルカードは 3 つの値を表示します — トークン数、その文章を入力として使った場合の推定コスト、そして百万トークンあたりの入力/出力料金です。
3. exact ラベルのカードは OpenAI 公式 BPE エンコーダーで精密に計算します。approx ラベルのカードは同じエンコーダーに校正係数を掛けたもので、各社公式トークナイザーとの差は 5〜10% 以内が目安です。
4. Token Visualization を開くと、exact モデルがテキストをどのように分割するかを視覚的に確認できます。色付きチップひとつがトークン 1 個。チップにホバーするとトークン ID が表示されます。
5. Copy stats をクリックすると、1 行プレーンテキストのサマリーが取得できます — コードレビューやチャットでコンテキストウィンドウを共有するときに便利です。

トークンとは

大規模言語モデルはテキストを文字や単語ではなく、トークン列として読み込みます。トークンは Byte Pair Encoding（BPE）アルゴリズムをインターネット規模のコーパスで学習させて得たサブワード単位です。tokenizer のような頻出英単語は 1〜2 トークンですが、URL や珍しい綴り、CJK 1 文字はそれぞれ 3 トークン以上になることがあります。料金、レート制限、コンテキストウィンドウはすべてトークン単位で計測されます。

本ツールが使う cl100k_base と o200k_base は OpenAI 公式テーブルで、GPT-3.5 から GPT-5 までの本番環境と完全に同一です。o200k_base は cl100k_base に対して語彙数を倍増させており、中国語・日本語・韓国語・アラビア語のトークン消費量は 20〜40% 削減されます。多言語プロンプトを多用するなら、節約は実コストに直結します。

なぜローカルで数えるのか

プロンプトをリモート API に送って数える「オンラインカウンター」は便利ですが、system プロンプトには企業秘密、顧客データ、未公開のプロダクトコピーが入っていることが日常茶飯事です。ネットワーク往復が発生した瞬間にすべて漏洩します。本ツールはブラウザ内完結で 1 バイトも端末から出さず、初回読み込み後はオフラインでも動作します。

プロバイダー間のコスト比較

トークン数自体は、各社のトークナイザーがテキストを切る粒度が異なるため、直接比較できません。同じ 1,000 文字の段落が OpenAI では 250 トークン、Claude では 230 トークンになることもあれば、その逆もあります。比較に意味がある指標はコストです。各コストカードはトークン数に各社公開の百万トークンあたり入力料金を掛けて、同じ物差しで比較できるようにしています — チャット中心のアプリでは DeepSeek V3 と Llama 3.3 が単価で勝ち、複雑な推論では GPT-5 と Claude Sonnet 4.6 が「品質単価」で勝つ傾向があります。

プライバシーとネットワーク挙動

ページの HTML と JavaScript がロードされた後、本ページはトークンデータのためのネットワーク要求を一切発行しません。BPE 語彙はページに同梱される JavaScript チャンクにバンドルされています。入力内容は HTTP 要求、アナリティクスイベント、エラーログのいずれにも記録されません。ブラウザ DevTools の Network タブで自分で検証できます — ページが ready になってから入力を続けても、新規リクエストは 0 件のままです。