Lapitel Lapitel

다양한 파인튜닝 기법: Full Fine-tuning, PEFT, LoRA, QLoRAAI 모델은 지속적으로 발전하고 있으며, 파인튜닝(Fine-tuning) 방식 또한 계속해서 최적화되고 있습니다.이번 글에서는 대표적인 파인튜닝 기법인 Full Fine-tuning, PEFT, LoRA, QLoRA를 간단히 살펴보겠습니다.1. Full Fine-tuningFull Fine-tuning은 전통적인 방식으로, 모델 전체 가중치를 모두 다시 학습시킵니다.장점: 모델 전 영역을 최적화하기 때문에, 정확도를 최대한 끌어올릴 수 있음 단점: 시간과 자원(GPU 메모리 등)이 매우 많이 필요 대규모 모델을 다룰 때는 엄청난 비용 소모가 발생2. PEFT (Parameterized Efficient Fine-..