토큰과 모델 사이즈: AI 모델의 크기는 무엇을 의미할까?

AI 모델을 공부하다 보면 “토큰(Token)”, “모델 사이즈(Model Size)”, “VRAM” 같은 단어를 자주 접하게 됩니다.
이 글에서는 토큰이 무엇인지, 모델 사이즈가 어떤 의미를 갖는지, 그리고 VRAM이 모델 크기와 어떻게 연결되는지를 쉽게 풀어보겠습니다.

1. 토큰(Token)이란?

AI가 문장을 이해하고 생성할 때 사용하는 가장 작은 단위가 바로 토큰(Token)입니다.
토큰화(Tokenization) 방식에 따라 텍스트를 나누는 기준이 달라지는데, 예를 들어 다음과 같이 나눌 수 있습니다.

단어 단위
- 예: “사과를 먹었다” → 사과 / 를 / 먹었다
음절 단위
- 예: “사과를 먹었다” → 사 / 과 / 를 / 먹 / 었 / 다

결국 AI 모델은 이렇게 쪼개진 작은 조각(토큰)들이 어떻게 조합되어 문장을 구성하는지를 학습합니다.
모델마다 토큰화 전략이 다르며, 이를 최적화하기 위해 BPE(Byte Pair Encoding), SentencePiece 같은 기법이 활용되기도 합니다.

2. 모델 사이즈(Model Size)란?

“모델이 크다” 혹은 “몇십 억짜리 파라미터”라는 표현을 들어보셨을 텐데요.
이때 모델 사이즈는 학습 가능한 파라미터(가중치+바이어스 등)의 총 개수를 의미합니다.

파라미터가 많을수록
- 모델이 더 많은 정보를 학습할 수 있어 복잡한 패턴을 포착할 가능성이 커집니다.
하지만 파라미터가 많아질수록
- 컴퓨팅 자원(VRAM)을 많이 사용하게 되고,
- 학습 시간이 늘어난다는 단점도 존재합니다.

쉽게 말해, 모델 사이즈는 한 모델이 얼마나 많은 지식을 담을 수 있는지를 결정하는 용량과도 같습니다.

3. 핀볼판 여러 개? 레이어의 개수

AI 모델은 여러 층(레이어; Layer)으로 구성됩니다.
레이어가 많다는 것은 마치 핀볼판이 여러 개 겹쳐 있는 것과 비슷하게 볼 수 있습니다.

핀볼판(레이어):
- 각 층은 데이터를 처리하는 하나의 “핀볼판” 역할을 합니다.
공(데이터):
- 공이 여러 핀볼판을 거쳐 가며 다양한 패턴(특징)을 학습하게 됩니다.
뇌 주름에 비유:
- 레이어가 많아질수록 점차 복잡하고 추상적인 특징을 학습하는데,
- 이는 마치 뇌 주름이 많아지면서 복잡한 사고를 할 수 있게 되는 것과 유사합니다.

4. 모델 사이즈와 VRAM

AI 모델을 인퍼런스(Inference, 추론) 단계에서 사용할 때는, 학습된 모델(파라미터)을 GPU 메모리(VRAM)에 로드해야 합니다.

예: 파라미터 70억 개(70B) 모델, 16비트(float16) 정밀도
- 대략 140GB VRAM이 필요합니다.
정밀도를 낮추면(VRAM 사용량 감소)
- int8(8비트) → 70GB
- int4(4비트) → 35GB

즉, 모델 크기가 클수록 더 많은 VRAM을 요구하며, 이는 곧 비싼 서버 자원이 필요함을 의미합니다.
대규모 모델은 뛰어난 성능을 낼 수 있지만, 비용과 자원 관리 측면에서 큰 부담이 될 수 있다는 점을 기억해야 합니다.

결론: 모델 크기, 토큰, VRAM은 모두 연결되어 있다

토큰: 문장을 구성하는 가장 작은 단위
모델 사이즈: 학습 가능한 파라미터의 총 개수
VRAM: 큰 모델을 구동하기 위한 GPU 메모리 자원

이 세 가지 요소는 서로 긴밀히 연결되어 AI 모델의 성능과 비용을 결정합니다.
많은 파라미터 → 뛰어난 표현력과 높은 VRAM 요구
적은 파라미터 → 빠른 처리와 낮은 자원 사용

어떤 모델을 선택할지는 결국 프로젝트 목표, 예산, 운영 환경 등을 종합적으로 고려해야 합니다.

주요 키워드 정리

토큰(Token), 토큰화(Tokenization)
AI 모델 사이즈(Model Size)
파라미터(Parameters)
레이어(Layer), 핀볼판 비유
VRAM (GPU 메모리)
인퍼런스(Inference), 정밀도(Precision)

메타 설명(Meta Description):
AI 모델의 ‘토큰’과 ‘모델 사이즈’, ‘VRAM’이 어떤 의미인지, 핀볼판 비유를 통해 쉽게 이해해 보세요. 파라미터와 레이어 구성, VRAM 사용량까지 한눈에 정리했습니다.