AI 토큰 카운터

사용 방법

1. 프롬프트를 입력 상자에 붙여넣거나 입력하세요. 카운트와 비용 카드는 입력에 따라 실시간으로 갱신됩니다.
2. 각 모델 카드는 세 가지 값을 보여줍니다 — 토큰 수, 해당 텍스트를 입력으로 사용했을 때의 예상 비용, 그리고 백만 토큰당 입력/출력 단가입니다.
3. exact 라벨이 붙은 카드는 OpenAI BPE 인코더로 정확하게 계산합니다. approx 라벨이 붙은 카드는 같은 기준선에 보정 계수를 곱한 것으로, 제공자 공식 토크나이저와의 차이는 보통 5~10% 입니다.
4. Token Visualization을 펼치면 정확 모드 모델이 텍스트를 어떻게 분할하는지 볼 수 있습니다. 색깔 칩 하나가 토큰 하나이며, 칩 위에 마우스를 올리면 토큰 ID가 표시됩니다.
5. Copy stats를 클릭하면 한 줄 요약을 일반 텍스트로 복사할 수 있습니다 — 코드 리뷰나 채팅에서 컨텍스트 윈도우를 공유할 때 편리합니다.

토큰이란

대규모 언어 모델은 텍스트를 문자나 단어가 아닌 토큰 시퀀스로 읽습니다. 토큰은 인터넷 규모 코퍼스에서 학습된 Byte Pair Encoding(BPE) 알고리즘이 만들어낸 서브워드 단위입니다. tokenizer와 같은 자주 쓰이는 영어 단어는 보통 1~2 토큰이지만, URL, 드문 철자, CJK 문자는 한 글자가 3 토큰 이상이 되기도 합니다. 요금, 속도 제한, 컨텍스트 윈도우는 모두 토큰 단위로 측정됩니다.

이 도구가 사용하는 cl100k_base와 o200k_base는 OpenAI 공식 테이블이며 GPT-3.5부터 GPT-5까지 프로덕션 환경과 동일합니다. o200k_base는 cl100k_base 대비 어휘 크기를 두 배로 늘려, 중국어/일본어/한국어/아랍어를 20~40% 적은 토큰으로 분할합니다. 다국어 프롬프트를 자주 쓴다면 절감 효과는 실제 비용으로 환산됩니다.

로컬에서 세는 이유

프롬프트를 원격 API로 보내는 “온라인 카운터”는 편리하지만, system 프롬프트에는 영업 비밀, 고객 데이터, 미공개 제품 카피가 들어 있는 경우가 흔합니다. 네트워크 왕복이 일어나는 순간 모두 누출됩니다. 이 도구는 클라이언트 측에서 완결되어 모든 바이트가 단말기 안에 머물고, 첫 로드 이후 비행 모드에서도 동작합니다.

제공자 간 비용 비교

토큰 수 자체는 제공자 간에 직접 비교할 수 없습니다. 각 토크나이저가 텍스트를 자르는 입자가 다르기 때문입니다. 동일한 1,000자 단락이 OpenAI에서는 250 토큰, Claude에서는 230 토큰일 수도 있고 반대일 수도 있습니다. 비교 가능한 지표는 비용입니다. 각 비용 카드는 토큰 수에 공개된 백만 토큰당 입력 단가를 곱해 같은 자로 측정할 수 있게 해줍니다 — 일반적으로 채팅 중심 애플리케이션은 DeepSeek V3와 Llama 3.3가 단가 면에서 유리하고, 복잡한 추론 작업은 GPT-5와 Claude Sonnet 4.6이 ‘품질당 비용’ 면에서 유리합니다.

개인정보 및 네트워크 동작

초기 HTML과 JavaScript가 로드된 이후, 이 페이지는 토큰 데이터를 위한 어떠한 네트워크 요청도 보내지 않습니다. BPE 어휘는 페이지와 함께 제공되는 JavaScript 청크에 번들되어 있습니다. 입력 내용은 HTTP 요청, 분석 이벤트, 오류 로그 어디에도 남지 않습니다. 브라우저 DevTools의 Network 탭에서 직접 검증할 수 있습니다 — 페이지가 준비된 후 자유롭게 타이핑해도 새 요청 수는 항상 0입니다.