토큰은 언어 모델이 텍스트를 읽고 쓰는 단위입니다. 모델이 프롬프트를 받기 전에 토크나이저가 텍스트를 조각으로 자르고, 조각마다 어휘 목록의 번호를 붙입니다. API 요금, 속도 제한, 컨텍스트 윈도가 모두 이 수로 정해집니다.
이 글은 네 가지를 다룹니다. 토큰이 어디에서 잘리는지, 바이트 단위 BPE가 경계를 어떻게 정하는지, 같은 문장이 GPT·DeepSeek·Claude·Gemini에서 왜 다른 수가 되는지, 그리고 그 수를 요금과 컨텍스트 확인에 어떻게 쓰는지입니다. 아래 숫자는 모두 토큰 계산기로 잰 값이며 OpenAI tiktoken, DeepSeek 공식 토크나이저의 결과와 같습니다. 가격과 한도는 2026-10-01에 각사 공식 페이지에서 확인한 값입니다.
토큰은 번호가 붙은 조각
「안녕하세요, 세계」(9자)를 세 토크나이저로 셉니다.
| 토크나이저 | 주요 모델 | 토큰 수 |
|---|---|---|
| o200k_base | GPT-5.x, GPT-4.1, GPT-4o | 4 |
| DeepSeek V4 | deepseek-flash, deepseek-v4-pro | 7 |
| cl100k_base | GPT-4, GPT-3.5 Turbo | 10 |
한글 음절은 UTF-8로 3바이트입니다. 어휘에 없는 음절은 바이트 단위로 쪼개져 토큰이 늘어납니다. 어휘가 약 10만 개인 cl100k_base에서 10개였던 문장이 약 20만 개인 o200k_base에서는 4개가 됩니다. 중국어에서는 DeepSeek V4가 가장 적은 경우가 많지만, 이 글의 한국어 예시에서는 o200k_base보다 많았습니다.
토큰은 글자도 단어도 아닙니다. 3글자 단어가 1토큰이 되기도 하고 2개로 갈라지기도 하며, 한 음절이 1토큰, 2개의 바이트 토큰, 또는 앞뒤 음절과 묶인 더 긴 토큰이 되기도 합니다. 어휘와 병합 규칙만이 답을 정합니다.
토크나이저가 자르는 원리
GPT와 DeepSeek의 토크나이저는 바이트 단위 BPE(byte pair encoding, Sennrich 등 2016년 논문)입니다. 먼저 정규식으로 텍스트를 단어, 숫자, 기호, 공백 같은 덩어리로 나누고, 덩어리 안에서 1바이트부터 시작해 학습으로 정해진 순위가 높은 인접 쌍을 반복해서 합칩니다. 어휘 크기는 cl100k_base 100,277, o200k_base 200,019, DeepSeek V4 129,280입니다(특수 토큰 포함).
정규식 사전 분할은 놓치기 쉬운 부분입니다. 병합표에 「의」와 「날씨」가 있어도 정규식이 이미 두 덩어리로 나눴다면 합쳐지지 않습니다. 반대로 영어 중심 말뭉치로 학습한 o200k_base가 흔한 한국어 단어를 한 토큰으로 담을 수 있는 것은 어휘에 바이트만이 아니라 단어 자체가 들어 있기 때문입니다. DeepSeek은 한자와 가나가 이어지는 구간을 별도 덩어리로 자르므로, 같은 문장에서도 영단어와 한자어는 다른 규칙으로 계산됩니다.
같은 문장, 다른 숫자
숫자는 같은 토크나이저 안에서만 비교할 수 있습니다. 짧은 문장을 세 가지로 세면 이렇습니다.
| 텍스트 | 글자 수 | o200k_base | cl100k_base | DeepSeek V4 |
|---|---|---|---|---|
| What is a token in AI? | 22 | 7 | 7 | 7 |
| 안녕하세요, 세계 | 9 | 4 | 10 | 7 |
| 東京の天気は晴れ | 8 | 7 | 10 | 7 |
| 什么是 AI 里的 token? | 16 | 7 | 10 | 6 |
영어는 세 토크나이저에서 거의 변하지 않습니다. 한국어는 크게 달라지고, 텍스트가 길수록 차이가 벌어집니다. 계산기에 내장된 한국어 예시(277자 리뷰 요청)는 o200k_base 164, cl100k_base 231, DeepSeek V4 176토큰입니다.
같은 277자가 164, 176, 231입니다. 최대와 최소가 41% 차이 납니다. 각사 문서의 어림값은 이 차이를 가립니다. OpenAI 도움말은 영어에서 「토큰 하나는 약 4자, 0.75단어」, Google은 Gemini에서 「토큰 하나는 약 4자」, DeepSeek은 「영문 1자는 약 0.3토큰, 한자 1자는 약 0.6토큰」이라고 합니다. 277자에 「4자에 1토큰」을 적용하면 69로, 실제 값의 절반에도 못 미칩니다. 세 회사 모두 실제 수는 API가 돌려주는 값을 따른다고 덧붙입니다.
어림값의 오차 방향이 중요합니다. 한국어에서는 글자 수로 어림하면 절반 이하로 낮아지기 쉽습니다. 영어 산문은 4자에 1토큰에 가깝지만 코드·JSON·표는 기호, 들여쓰기, 반복되는 키 이름 때문에 늘어납니다. 예산이나 한도 판정에는 그 요청을 처리할 토크나이저로 센 값을 써야 합니다.
Claude와 Gemini를 로컬에서 셀 수 없는 이유
Claude와 Gemini는 로컬에서 쓸 수 있는 토크나이저가 공개되지 않았습니다. Anthropic은 Claude 4.7 이후 모델이 같은 텍스트에서 이전 Claude보다 토큰이 약 30% 많다고 밝힙니다. 작년 모델로 센 값을 올해 모델의 견적으로 쓰면 어긋납니다.
각사가 제공하는 것은 어휘가 아니라 계수 API입니다.
- Claude는
POST /v1/messages/count_tokens를 씁니다. 본문은 메시지 요청과 같고, 결과는 추정값이라고 문서에 적혀 있으며 자체 속도 제한이 있습니다. - Gemini는
models.countTokens를 씁니다. - OpenAI의
POST /v1/responses/input_tokens는 역할·구분자의 형식 토큰, 이미지, 파일, 도구 정의까지 포함해 셉니다.
마지막 항목이 「텍스트 개수」와 「청구서」의 경계입니다. 로컬 토크나이저는 문자열 하나를 잽니다. 실제 채팅 요청에는 역할 표시, 구분자, 시스템 프롬프트, 도구 스키마가 더해집니다. 이것까지 포함하는 것은 제공자의 API뿐이며, 이 요청이 한도에 들어가는지 판단할 때는 그쪽을 써야 합니다.
GPT-6도 같습니다. tiktoken 0.14.0의 대응표에 GPT-6는 없고, OpenAI는 토크나이저를 공개하지 않았습니다. 계산기는 Claude·Gemini·GPT-6 행에 ≈를 붙이고 o200k_base 값을 참고로 보여 줍니다. 이 값은 프롬프트끼리 길이를 비교할 때는 쓸 수 있지만 청구서는 아닙니다. 공개되지 않은 토크나이저로 「GPT-6 정확한 토큰 수」를 내놓는 도구는 추측하는 것입니다.
컨텍스트 한도의 의미
컨텍스트 윈도는 한 번의 요청에서 모델이 담을 수 있는 토큰 상한입니다. 제공자는 출력에도 별도 상한을 둡니다. 계산기의 「컨텍스트」 열이 나누는 값은 입력 한도입니다. 텍스트 자체가 한도를 넘으면 행이 강조되지만, 딱 맞는 텍스트도 지시와 형식 토큰이 더해지므로 실제로는 들어가지 않습니다.
| 모델 | 입력 한도(토큰) | 걸리는 상황 |
|---|---|---|
| gpt-4o | 128,000 | 긴 문서를 새 모델보다 먼저 나눠야 함 |
| gpt-5.4-mini | 272,000 | gpt-5.5 장문 가격 경계와 같은 선 |
| gpt-5.5 | 1,050,000 | 입력이 272,000을 넘으면 요청 전체가 높은 단가 |
| claude-opus-5-5 | 1,000,000 | 로컬 토크나이저 없음. count_tokens 사용 |
| gemini-3.1-pro-preview | 1,048,576 | 입력이 200,000을 넘으면 요청 전체가 높은 단가 |
| text-embedding-3-small | 8,192 | 입력 1건당. 문서는 이 길이로 분할 |
위 값은 각 모델 페이지의 입력 한도이며 2026-10-01에 확인했습니다. 실무에서는 두 가지 결과가 따릅니다. 첫째, 임베딩 분할은 글자 수가 아니라 토큰 수로 해야 합니다. 8,192토큰 한도라면 10만 자 영문 문서는 3~4덩이가 되고, 같은 글자 수의 한국어 문서는 더 많은 덩이가 필요합니다. 둘째, 장문 할증은 기준을 넘은 부분에만 붙는 것이 아니라 요청 전체에 붙습니다. 272,000토큰을 조금 넘긴 요청은 조금 못 미치는 요청보다 두 배 이상 비쌀 수 있습니다.
가격표 읽기
API 가격은 100만 토큰당이며 입력과 출력이 따로 책정됩니다.
cost = input_tokens × input_price / 1,000,000 + output_tokens × output_price / 1,000,000
2026-10-01 가격으로 위 한국어 예시에 출력 1,000토큰을 더하면 gpt-5.5는 $0.03082(입력 $5, 출력 $30, 164토큰), deepseek-flash 피크 시간은 $0.0012528($0.30과 $1.20, 176토큰)입니다. 둘 다 출력이 대부분을 차지합니다. 짧은 프롬프트에서는 답변 길이가 청구서를 결정합니다.
계산을 바꾸는 조건이 세 가지 있습니다.
- 장문 할증: gpt-5.5와 GPT-6는 입력 272,000토큰 초과 시 요청 전체가 입력 2배·출력 1.5배, gemini-3.1-pro-preview는 200,000토큰 초과 시 단가가 올라갑니다. 계산기는 단가를 바꾸고 행에 표시합니다.
- 시간대 요금: DeepSeek은 한국 시간 평일 10시
13시, 15시19시 밖에서 반값입니다. 계산기는 두 가격을 모두 보여 주고, 중국어 가격 페이지에는 위안 값(deepseek-flash 입력 2위안·출력 8위안 / 100만 토큰, 2026-10-01)이 있습니다. - 포함되지 않는 것: 배치 할인, 프롬프트 캐시, 개별 계약 가격은 표에 없습니다. 캐시가 적용되면 입력이 표준가의 일부만 청구되어 실제 청구서는 이 견적보다 낮아집니다.
가격과 모델 이름은 예고 없이 바뀝니다. 표 아래 날짜는 확인일입니다. 예산에 넣기 전에 링크된 공식 페이지를 다시 읽으세요.
토크나이저 없이 어림하기
손에 글자 수밖에 없을 때가 많습니다. CMS 글자 제한, 로그 한 줄, 편집기의 초안입니다. 오차 방향을 알면 범위는 낼 수 있습니다.
| 텍스트 | 실무 기준 | 이 글의 실측 |
|---|---|---|
| 한국어 | 1자당 0.5~1.0토큰 | 277자 → 164~231 |
| 영어 산문 | 1토큰당 약 4자 | 22자 → 7(토큰당 3.1자) |
| 중국어 | 1자당 0.5~1.0토큰 | 192자 → 111~172 |
| 일본어 | 1자당 0.6~1.0토큰 | 275자 → 180~242 |
| JSON·코드·로그 | 기호·들여쓰기·키 이름을 따로 계산 | 먼저 압축한 뒤 세기 |
범위는 일부러 넓게 잡았습니다. 이 글의 실측과 각사 공개 비율에서 나온 값이며 언어 모델로 계산한 공식이 아닙니다. 빠르게 볼 때는 하한, 넘으면 안 되는 한도에는 상한을 쓰세요.
실제로 쓸 값은 다음 순서로 정합니다.
- 먼저 단어 및 문자 카운터로 글자 수와 단어 수를 세어 붙여넣기가 잘리지 않았는지 확인합니다.
- 모델이 o200k_base, cl100k_base, DeepSeek V4라면 토큰 계산기의 값이 정확합니다.
- Claude, Gemini, GPT-6는 요청 전체를 제공자의 계수 API로 보냅니다. 영어 글자 비율을 한국어 글자 수에 곱한 값을 예산으로 쓰지 마세요.
- 시스템 프롬프트, 도구 정의, 답변 몫을 여유로 남깁니다. 컨텍스트 한도에 가까우면 출력 상한이 아니라 입력을 줄입니다.
코드로 세기
OpenAI 모델은 tiktoken(0.14.0)으로 셉니다.
import tiktoken
enc = tiktoken.get_encoding("o200k_base")
print(len(enc.encode_ordinary("안녕하세요, 세계"))) # 4
print(tiktoken.encoding_name_for_model("gpt-5.5")) # o200k_base
사용자 입력에는 encode_ordinary()를 쓰세요. encode()는 <|endoftext|>가 들어간 텍스트에서 ValueError를 냅니다. tiktoken 대응표에는 GPT-6가 없습니다.
DeepSeek은 오프라인 계산 패키지의 tokenizer.json을 tokenizers로 읽습니다. 패키지 예제는 transformers를 쓰는데, 2026년 10월 1일 확인 결과 transformers 5.18.0에서는 중국어 텍스트가 빈 목록이 되었고 4.57.6과 tokenizers는 올바른 ID를 돌려주었습니다.
from tokenizers import Tokenizer
tok = Tokenizer.from_file("tokenizer.json") # 오프라인 패키지 안의 파일 경로
print(len(tok.encode("안녕하세요, 세계").ids)) # 7
JavaScript 포팅에는 다른 함정이 있습니다. js-tiktoken은 정규식의 \s를 자바스크립트 규칙으로 읽어 U+FEFF를 포함하고 U+0085를 포함하지 않습니다. tiktoken은 Unicode White_Space를 쓰므로 BOM으로 시작하는 텍스트는 분할이 달라질 수 있습니다. 병합 루프도 긴 연속 문자열에서 느려서, 2026-10-01 측정에서 문장부호 없는 한자 2만 자가 Node.js에서 229초 걸렸습니다. 계산기는 \s를 바꾸고 우선순위 큐로 병합하며, 1,500개가 넘는 문자열에서 tiktoken·tokenizers와 ID를 대조합니다.
보내기 전 점검
긴 프롬프트의 문제는 대개 토크나이저 계산이 아니라 보낸 내용이 생각과 다른 데서 생깁니다. 네 단계로 확인합니다.
- 먼저 페이로드를 줄입니다. 들여쓰기한 JSON은 공백, 줄바꿈, 반복되는 키 이름도 토큰이 됩니다. 먼저 JSON Formatter에서 압축한 뒤 세세요. 요청 본문을 문자열로 보낸다면 압축된 텍스트가 실제로 전송되는 내용입니다.
- 필요한 필드만 꺼냅니다. JSON Lines 로그는 jq로 먼저 골라낸 뒤 셉니다. jq 플레이그라운드는 같은 필터를 브라우저에서 실행하고 출력을 그대로 계산기에 붙일 수 있습니다.
- 해당 모델의 토크나이저로 셉니다. o200k_base, cl100k_base, DeepSeek V4는 계산기, Claude·Gemini·GPT-6는 제공자 API를 씁니다.
- 한도와 가격에 비춥니다. 컨텍스트 열에서 입력 자체가 한도를 넘는지, 가격표에서 입력과 예상 출력 비용을 확인합니다. 기준선에 가까우면 몇 글자 수정으로 더 비싼 구간으로 넘어갈 수 있습니다.
글자 수도 쓸모가 있습니다. 붙여넣기가 잘렸는지 가장 빨리 확인하는 방법이고 CMS 필드와 maxlength의 단위이기도 합니다. 다만 그것은 텍스트의 크기이지 토큰 수가 아닙니다.
더 읽기
- tiktoken 모델 대응표와 OpenAI의 토큰 계수 가이드
- Anthropic: token counting과 가격
- Google: understand and count tokens
- DeepSeek: 토큰과 사용량과 가격
- Sennrich, Haddow, Birch, Neural Machine Translation of Rare Words with Subword Units(ACL 2016), BPE 원논문
- 관련 도구: 단어 및 문자 카운터, JSON Formatter, jq 플레이그라운드, API 키 마스킹 도구