Lapitel Lapitel

토큰과 모델 사이즈: AI 모델의 크기는 무엇을 의미할까?AI 모델을 공부하다 보면 “토큰(Token)”, “모델 사이즈(Model Size)”, “VRAM” 같은 단어를 자주 접하게 됩니다.이 글에서는 토큰이 무엇인지, 모델 사이즈가 어떤 의미를 갖는지, 그리고 VRAM이 모델 크기와 어떻게 연결되는지를 쉽게 풀어보겠습니다.1. 토큰(Token)이란?AI가 문장을 이해하고 생성할 때 사용하는 가장 작은 단위가 바로 토큰(Token)입니다.토큰화(Tokenization) 방식에 따라 텍스트를 나누는 기준이 달라지는데, 예를 들어 다음과 같이 나눌 수 있습니다.단어 단위예: “사과를 먹었다” → 사과 / 를 / 먹었다음절 단위예: “사과를 먹었다” → 사 / 과 / 를 / 먹 / 었 / 다결국 AI 모델은..