AI 모델의 '토큰(token)'이란 정확히 무엇일까

AI 서비스를 쓰다 보면 "토큰 사용량", "토큰당 요금"처럼 토큰이라는 단어를 자주 접하게 됩니다. 토큰은 언어모델이 텍스트를 처리할 때 사용하는 기본 단위로, 우리가 흔히 생각하는 "글자 수"나 "단어 수"와는 조금 다른 개념입니다. 언어모델은 문장을 통째로 이해하는 것이 아니라, 문장을 토큰이라는 작은 조각으로 잘게 나눈 뒤 그 조각들을 처리합니다. 영어의 경우 짧은 단어 하나가 토큰 하나가 되기도 하지만, 긴 단어는 어근과 접미사처럼 여러 조각으로 쪼개져 여러 토큰이 되기도 합니다. 한글은 자소나 음절 단위로 쪼개지는 경우가 많아, 같은 의미의 문장이라도 언어에 따라 토큰 개수가 달라질 수 있습니다. 이 때문에 "글자 수 제한 1000자"와 "토큰 제한 1000개"는 실제로 담을 수 있는 내용의 양이 다릅니다. 일반적으로 한글은 영어보다 같은 글자 수 대비 더 많은 토큰을 소비하는 경향이 있는데, 이는 영어 위주로 설계된 토큰화 방식이 한글의 음절 구조를 더 잘게 쪼개기 때문입니다. AI 서비스의 요금이나 처리 속도가 토큰 단위로 계산되는 이유도 여기에 있습니다. 모델이 실제로 계산을 수행하는 최소 단위가 토큰이기 때문에, 입력과 출력에 사용된 토큰 개수가 곧 모델이 수행한 연산량과 직결됩니다. 긴 대화를 나눌수록, 혹은 복잡한 문서를 요약할수록 토큰 사용량이 늘어나는 것도 같은 원리입니다.