Lapitel Lapitel

논문 분석: DeepSeek 모델과 강화학습 기법논문에서 제시한 3가지 모델 유형1. DeepSeek-R1-Zero사전학습된 모델에 간단한 강화학습 룰만 적용하여 추론 능력 향상을 도모한 모델특징:간단한 규칙 기반의 강화학습 적용추론 능력 향상 목적한계:여러 언어가 혼합된 추론 결과로 인해 가독성이 저하됨2. DeepSeek-R1DeepSeek-R1-Zero의 한계를 극복하기 위해 다음의 학습 절차를 수행긴 CoT(Chain-of-Thought) 학습 데이터로 소량 파인튜닝DeepSeek-R1-Zero에 적용한 강화학습 진행좋은 추론 데이터(600k) 및 비추론 데이터(200k) 파인튜닝추론 및 비추론 데이터에 대해 강화학습 진행목표:유해 콘텐츠 식별(위험, 편향 등)사용자 응답의 유용성과 관련성 강조3..

Dify의 워크플로우 오케스트레이션에서 사용되는 주요 블록(노드)과 각 블록의 역할, 입력(input), 출력(output)을 다음과 같이 정리합니다. 각 노드는 특정 기능을 수행하며 변수를 통해 데이터를 전달받거나 출력합니다.1. 시작 (Start Node)역할: 워크플로우 실행 시 초기 파라미터를 정의합니다.입력: 없음 (시작 노드는 외부 사용자 입력 또는 시스템 변수를 받음).출력: sys.query(Chatflow), sys.files(파일 업로드), sys.user_id 등 시스템 변수를 생성.2. 종료 (End Node)역할: 워크플로우의 최종 결과를 정의합니다. Workflow 유형에서만 사용 가능.입력: 이전 노드에서 전달된 모든 변수 (예: 처리된 데이터, 생성된 텍스트).출력: 최종 사..

다양한 파인튜닝 기법: Full Fine-tuning, PEFT, LoRA, QLoRAAI 모델은 지속적으로 발전하고 있으며, 파인튜닝(Fine-tuning) 방식 또한 계속해서 최적화되고 있습니다.이번 글에서는 대표적인 파인튜닝 기법인 Full Fine-tuning, PEFT, LoRA, QLoRA를 간단히 살펴보겠습니다.1. Full Fine-tuningFull Fine-tuning은 전통적인 방식으로, 모델 전체 가중치를 모두 다시 학습시킵니다.장점: 모델 전 영역을 최적화하기 때문에, 정확도를 최대한 끌어올릴 수 있음 단점: 시간과 자원(GPU 메모리 등)이 매우 많이 필요 대규모 모델을 다룰 때는 엄청난 비용 소모가 발생2. PEFT (Parameterized Efficient Fine-..

인스트럭션 튜닝(Instruction Tuning)과 RAG최근 인공지능(AI) 모델이 점차 고도화됨에 따라, 사용자의 의도에 맞춰 정확하고 자연스러운 답변을 제공하는 것이 중요해지고 있습니다.이번 글에서는 인스트럭션 튜닝(Instruction Tuning)이 왜 필요한지, 그리고 RAG(Retrieval + Augmentation + Generation) 기법이 어떤 방식으로 AI 모델의 정확도를 높이는지 살펴봅니다.1. 인스트럭션 튜닝(Instruction Tuning)인스트럭션 튜닝이란 파인튜닝(Fine-tuning)의 한 형태로, 모델에게 “어떤 일을 어떻게 해달라”는 구체적인 지시사항(Instructions)을 학습시키는 방식입니다.1-1. 기존 파인튜닝의 한계예전에는 { "prompt": "질..

사전학습(Pre-training)과 파인튜닝(Fine-tuning)AI 모델의 성능이 빠르게 발전하면서, 사전학습(Pre-training)과 파인튜닝(Fine-tuning)이라는 개념도 점점 중요해지고 있습니다.이 글에서는 언어 모델(NLP)을 예시로, 두 단계가 무엇을 의미하고 왜 필요한지 쉽게 설명해보겠습니다.1. 사전학습(Pre-training)이란?사전학습은 모델에게 광범위한 배경지식을 쌓아주는 기초 학습 단계입니다.방대한 양의 비지도 학습(unsupervised) 데이터를 활용해, 모델이 문맥 파악과 단어 예측 등의 언어 사용 패턴을 익히도록 합니다.예: 인터넷에 떠도는 대규모 텍스트 데이터를 모델에 입력모델은 특정 정답 없이(비지도 학습) 문맥 구조, 단어 분포 등을 학습데이터가 워낙 많아, ..

토큰과 모델 사이즈: AI 모델의 크기는 무엇을 의미할까?AI 모델을 공부하다 보면 “토큰(Token)”, “모델 사이즈(Model Size)”, “VRAM” 같은 단어를 자주 접하게 됩니다.이 글에서는 토큰이 무엇인지, 모델 사이즈가 어떤 의미를 갖는지, 그리고 VRAM이 모델 크기와 어떻게 연결되는지를 쉽게 풀어보겠습니다.1. 토큰(Token)이란?AI가 문장을 이해하고 생성할 때 사용하는 가장 작은 단위가 바로 토큰(Token)입니다.토큰화(Tokenization) 방식에 따라 텍스트를 나누는 기준이 달라지는데, 예를 들어 다음과 같이 나눌 수 있습니다.단어 단위예: “사과를 먹었다” → 사과 / 를 / 먹었다음절 단위예: “사과를 먹었다” → 사 / 과 / 를 / 먹 / 었 / 다결국 AI 모델은..

AI 모델 발전의 시작: Transformer, BERT, GPTAI 기술, 특히 자연어 처리(NLP) 분야는 최근 몇 년간 놀라운 발전을 이루었습니다. 사람처럼 텍스트를 이해하고 생성하는 언어 모델(Language Model)의 등장은 다양한 산업 분야에 혁신을 가져오고 있는데요. 이 발전의 시작점에는 2017년 논문 “Attention is all you need” 에서 제안된 Transformer 아키텍처가 있습니다.1. AI의 급속한 발전, 어디서부터 시작되었을까?오늘날 인터넷을 조금이라도 사용해보셨다면, 챗봇, 자동 번역, 문서 요약 같은 AI 서비스를 접해보셨을 텐데요.이 모든 것들이 빠르게 성장하게 된 배경에는 Transformer의 등장이 자리 잡고 있습니다.Transformer는 딥러닝(..