토큰 계산기

한국어 토큰 수 비교

회의록 요약을 부탁하는 같은 뜻의 지시문을 영어와 한국어로 세어 보았습니다.

영어는 세 토크나이저가 거의 같지만, 한국어는 cl100k_base가 o200k_base보다 46% 많습니다. 한글 음절은 UTF-8로 3바이트라서, 어휘에 없는 음절은 여러 바이트 토큰으로 나뉩니다. 토큰 분할에서 ⟨⟩ 안에 16진수로 보이는 칸이 그런 경우입니다.

짧은 인사말 「안녕하세요, 세계」는 o200k_base 4, DeepSeek V4 7, cl100k_base 10 토큰입니다. 중국어에서는 DeepSeek이 가장 적은 경우가 많지만 한국어에서는 o200k_base보다 많아지는 일이 흔합니다.

「예시」 버튼이 넣는 277자의 리뷰 요청문 결과입니다.

정확히 셀 수 있는 모델

• o200k_base: GPT-5.x, GPT-4.1, GPT-4o, o1, o3, o4-mini. 근거는 OpenAI tiktoken의 모델 대응표입니다.
• cl100k_base: GPT-4, GPT-3.5 Turbo, 그리고 임베딩 가이드가 지정한 text-embedding-3. 임베딩 입력 한도 8,192 토큰을 확인할 때 씁니다.
• DeepSeek V4: deepseek-flash, deepseek-v4-pro. DeepSeek 오프라인 계산 패키지의 tokenizer.json으로 만들었습니다.
• Claude, Gemini, GPT-6: 로컬 토크나이저가 공개되지 않았습니다. Anthropic의 토큰 계산 API는 무료지만 문서 스스로 결과를 추정값이라고 하며, Claude 4.7 이후 모델은 같은 텍스트에서 이전 Claude보다 토큰이 약 30% 많다고 밝힙니다. Google 문서는 「토큰 하나는 약 4자」라는 기준만 줍니다. 표에서는 이 모델들에 o200k_base 수를 참고값으로 쓰고 ≈를 붙입니다.

비용 표 읽는 법

단가는 2026년 10월 1일 확인한 표준 가격(배치 할인·캐시 미적용)이며 모두 미국 달러입니다. 긴 입력에서 단가가 오르는 모델은 자동으로 바꿔 계산합니다. gpt-5.5와 GPT-6는 입력 272,000 토큰 초과, gemini-3.1-pro-preview는 200,000 토큰 초과입니다. DeepSeek은 혼잡 시간(한국 시간 평일 10~13시, 15~19시) 외에는 절반 가격이라 두 금액을 함께 보여 줍니다.

다른 도구와의 차이

2026년 10월 1일 확인한 내용입니다.

• tokencounter.org 한국어판: 모델 목록이 GPT-4 Turbo, GPT-4, GPT-3.5, Davinci, Babbage뿐이라 GPT-4o 이후의 o200k_base로는 셀 수 없습니다.
• tokencalculator.app 한국어판: 모델 목록에 「Claude Sonnet 4.7」「Claude Haiku 4.6」이 있지만, Anthropic 가격 페이지에는 그런 모델이 없습니다.
• tokencost.app: 중국어 문장 하나(실제 DeepSeek V4 26 토큰)에서 DeepSeek V4.1 Flash를 「42~」로 표시했습니다.

이 페이지의 이전 버전은 js-tiktoken을 썼습니다. js-tiktoken은 공백 없이 긴 문자열에서 병합이 매우 느려 한자 2만 자가 이어진 입력에 3분 넘게 걸렸습니다. 새 버전은 우선순위 큐로 병합해 같은 입력을 몇 밀리초에 처리하고, BOM(U+FEFF)이 들어간 텍스트도 tiktoken과 같은 위치에서 자릅니다.

제한 사항

문자 통계, 사전 분할, 토큰 계산은 Web Worker에서 실행합니다. 입력을 수정하거나 지우면 이전 계산을 종료합니다. 페이지에는 통계, 전체 개수, 처음 2,000개 토큰의 표시 데이터만 반환합니다. 큰 텍스트를 입력란에 표시하는 데는 여전히 시간이 걸릴 수 있습니다. 저희 테스트(Apple M1 Max, Chromium 152, 2026-10-03)에서 중국어와 영어가 섞인 100만 자를 입력란에 표시하는 데 12초, 이어서 o200k_base로 세는 데 약 1.11.9초가 걸렸습니다.

• 일반 텍스트만 셉니다. 메시지 형식, 시스템 프롬프트, 도구 정의, 이미지, PDF가 더하는 토큰은 각 회사 API만 알 수 있습니다.
• <|endoftext|> 같은 OpenAI 특수 토큰은 일반 문자열로 셉니다(7 토큰). tiktoken의 encode_ordinary와 같습니다. DeepSeek의 <｜User｜> 같은 표시는 공식 tokenizer.json대로 1 토큰입니다.
• Claude, Gemini, GPT-6 행은 참고값입니다.
• DeepSeek 패키지의 예제는 transformers로 불러옵니다. transformers 5.18.0에서는 이 패키지로 중국어 텍스트를 넣으면 빈 목록이 나왔고, 4.57.6과 tokenizers 라이브러리는 이 페이지와 같은 결과를 냈습니다.
• 가격은 2026년 10월 1일 기준이며 세금, 지역별 할증, 개별 계약 할인은 넣지 않았습니다.

관련 도구: 글자 수와 단어 수는 단어 및 문자 카운터, 프롬프트에 남은 API 키는 API 키 마스킹 도구, 배치 요청 파일은 JSONL 변환기에서 다룹니다.