문서 목차
파인튜닝·정렬
레지스트리의 베이스 모델을 내 데이터셋으로 추가 학습(파인튜닝)하고, 선호도 데이터로 응답을 다듬는(정렬) 화면입니다.
QUANTUM C&S
레지스트리의 베이스 모델을 내 데이터셋으로 추가 학습(파인튜닝)하고, 선호도 데이터로 응답을 다듬는(정렬) 화면입니다.
왼쪽 메뉴 모델 > 파인튜닝과 모델 > 정렬에서 엽니다. 학습이 끝난 결과는 모델 레지스트리에 새 모델 또는 새 버전으로 자동 등록됩니다.
주요 기능
| 기능 | 설명 |
|---|---|
| LLM 파인튜닝 | LlamaFactory 기반으로 LoRA · QLoRA · Full Fine-tuning · Freeze Tuning 방식의 학습을 실행합니다. |
| Laya 결정 모델 학습 | 문서 유형 판정용 Laya 모델을 재학습하거나 재보정해, 같은 모델의 새 버전으로 등록합니다. |
| 정렬 | SFT 가 끝난 모델을 DPO 로 정렬하거나, RLHF(Reward Model 학습 → PPO)를 실행합니다. |
| GPU 선택 | Device Plugin, DRA(전용 · 공유 그룹), 원격 GPU 중에서 고릅니다. |
| 진행 확인 | 진행률 · Loss, 학습 곡선, 학습 품질 평가와 다음 단계 제안, 자원 사용량, 로그를 확인합니다. |
| 결과 등록 | 출력 모델이 레지스트리에 등록되고, 바로 서빙 · 평가할 수 있습니다. |
LLM 개발 단계
KosmosAI 의 언어 모델 개발은 다음 순서로 진행합니다. 정렬 화면 위쪽의 LLM 개발 파이프라인에도 같은 흐름이 표시됩니다.
| 단계 | 화면 | 결과 |
|---|---|---|
| 1. 사전학습 | 사전학습 · 월드모델 | 베이스 모델 |
| 2. SFT 파인튜닝 | 파인튜닝 | 대화형 모델 |
| 3. 정렬 (DPO/RLHF) | 정렬 | 선호도에 맞춘 모델 |
파인튜닝 목록
| 영역 | 설명 |
|---|---|
| 새 파인튜닝 | 파인튜닝 작업 생성 창을 엽니다. |
| 상태 카드 | 전체 · 학습중 · 완료 · 실패 작업 수입니다. 카드를 누르면 그 상태만 봅니다. |
| 검색 | 작업명, 모델명으로 검색합니다. |
| 작업 표 | 작업명(아래 줄은 출력 모델, 누르면 레지스트리로 이동), 상태, 진행률(Step · Loss), 학습 방식, 베이스 모델, 생성일(작성자), 작업(삭제) |
| 자동화 배지 | 자동화 플로우가 실행한 작업입니다. |
| 일괄 삭제 | 체크박스로 여러 작업을 고른 뒤 선택 삭제를 누릅니다. |
작업 상태
| 상태 | 설명 |
|---|---|
| 대기중 | 자원 할당을 기다리고 있습니다. |
| 학습중 | 학습이 진행 중입니다. |
| 완료 | 학습이 끝나고 출력 모델이 레지스트리에 등록되었습니다. |
| 실패 | 학습 중 오류가 발생했습니다. |
| 취소됨 | 사용자가 학습을 취소했습니다. |
파인튜닝 시작하기
1단계: 기본 정보
새 파인튜닝을 누르고 입력합니다.
| 항목 | 설명 | 규칙 |
|---|---|---|
| 작업 이름 | 학습 작업 이름 | 필수 |
| 출력 모델 이름 | 레지스트리에 등록될 모델 이름 | 필수 |
| 설명 | 학습 작업에 대한 설명 | 선택 |
| 공개 범위 | 공개(모든 사용자) · 그룹(그룹 멤버만) · 비공개(본인만) | 선택 |
2단계: 모델과 데이터셋
먼저 학습 종류를 고릅니다.
| 종류 | 설명 |
|---|---|
| LLM 파인튜닝 | LlamaFactory — LoRA · QLoRA · Full · Freeze |
| Laya 결정 모델 | 문서 유형 판정 모델의 재학습 · 재보정. 같은 모델의 새 버전으로 등록됩니다. |
그다음 베이스 모델과 버전, 학습 데이터셋과 버전을 고릅니다. 모델과 데이터셋은 모두 버전을 함께 지정해야 합니다.
3단계: 학습 방식
| 방식 | 설명 |
|---|---|
| LoRA | Low-Rank Adaptation — 효율적인 파인튜닝(기본값) |
| QLoRA | 4비트 양자화 LoRA — 메모리 효율적 |
| Full Fine-tuning | 모든 파라미터 학습 — 자원이 더 필요합니다. |
| Freeze Tuning | 아래 층은 고정하고 위층만 학습 |
4단계: 학습 파라미터와 고급 설정
| 항목 | 기본값 | 범위 · 설명 |
|---|---|---|
| Epochs | 3 | 1~100 |
| Learning Rate | 0.00005 | 0~1 |
| Batch Size | 4 | 1~128 |
| LoRA 설정(고급) | rank 8 · alpha 16 · dropout 0.1 | LoRA 계열에서 사용 |
| 모델 병합 (Merge)(고급) | 켜짐 | 학습 후 LoRA 어댑터를 원본 모델에 병합해, 단독으로 서빙할 수 있는 전체 모델을 만듭니다. |
| Max Seq Length(고급) | 2048 | 입력 텍스트 최대 토큰 수 |
| Gradient Accumulation(고급) | 4 | 실질 배치 = batch size × 이 값 |
| GPU 할당 방식(고급) | — | 사전학습 · 월드모델의 "GPU 할당 방식"과 같습니다. |
| GPU 수(고급) | 1 | 1~8, Device Plugin 방식일 때만 표시 |
| CPU 코어 · 메모리(GB)(고급) | 4 · 16 | 164 · 4256 |
5단계: 학습 시작
학습 시작을 누릅니다. 데이터셋 · 버전과 베이스 모델 · 버전을 모두 고르기 전에는 버튼이 비활성화됩니다.
팁 모델 병합을 끄면 LoRA 어댑터만 출력됩니다. 바로 서빙할 모델이 필요하면 병합을 켜 두세요.
Laya 결정 모델 학습
학습 종류에서 Laya 결정 모델을 고르면 학습 방식 대신 다음 두 모드가 표시됩니다.
| 모드 | 설명 | 실행 자원 |
|---|---|---|
| Laya 재학습 | 전 층 파인튜닝(약 2분) — 새 유형 · 라벨을 반영합니다. | GPU |
| Laya 재보정 | 가중치는 그대로 두고 확률 온도만 다시 맞춥니다(수 초). | CPU |
- 출력은 새 모델이 아니라 고른 Laya 모델의 새 버전으로 등록됩니다.
- 데이터셋은 AkashiQ 설정 › 문서 유형 › [확정 라벨 export] 파일(questions · items)이어야 합니다.
- 재학습에서 원격 GPU 풀 사용 권한이 있으면 **로컬 DRA (이 클러스터)**와 원격 DRA (외부 클러스터) 중에서 실행 위치를 고를 수 있습니다.
주의 이 클러스터에 GPU 노드가 없고 쓸 수 있는 원격 GPU 도 없으면 재학습은 시작해도 대기합니다. 관리자에게 원격 GPU 연결을 요청하거나 재보정(CPU)을 사용하세요.
정렬
정렬 화면은 SFT 가 끝난 모델을 선호도 데이터로 정렬합니다.
| 영역 | 설명 |
|---|---|
| LLM 개발 파이프라인 | 사전학습 → SFT 파인튜닝 → 정렬 단계를 보여 줍니다. |
| 방법 카드 | DPO(사용 가능) — chosen/rejected 쌍 데이터로 reward 모델 없이 직접 정렬합니다. RLHF(준비중 표시) — Reward 모델 + PPO 입니다. |
| 새 정렬 학습 | 정렬 작업 생성 창을 엽니다. |
| 작업 표 | 이름, 방법(DPO · RM · PPO), 베이스 모델, 데이터셋, 상태, 진행률, 생성일, 작업 |
정렬 학습 시작하기
1단계: 학습 방법 선택
| 방법 | 설명 | 필요한 데이터셋 |
|---|---|---|
| DPO | 단일 단계 · 선호도 쌍 | prompt, chosen, rejected 컬럼이 있는 JSON/JSONL/Parquet |
| RLHF · RM | Reward Model 학습. 학습된 모델은 점수 함수로만 쓰이고 생성에는 쓰이지 않습니다. | prompt, chosen, rejected 컬럼이 있는 JSON/JSONL/Parquet |
| RLHF · PPO | PPO 롤아웃 · RM 필요. 정책 모델이 직접 응답을 만들고 reward model 이 채점합니다. | prompt 컬럼만 있는 데이터셋 |
2단계: 항목 입력
| 항목 | 설명 | 규칙 |
|---|---|---|
| 작업 이름 | 예: SAMANDA-v1-dpo-r1 | 필수 |
| 출력 모델명 | 예: SAMANDA-v1-dpo | 필수 |
| 태그 | 자동 태그 외에 추가할 태그 | 선택 |
| 베이스 모델 (SFT 완료) | SFT 가 끝난 내부 모델과 버전 | 필수 |
| Reward Model | PPO 롤아웃 중 응답 품질을 채점할 모델 | PPO 에서 필수 |
| 선호도 데이터셋 / Prompt 데이터셋 | 데이터셋과 버전 | 필수 |
3단계: 하이퍼파라미터
| 항목 | 설명 |
|---|---|
| Epochs | 1~20 |
| Learning Rate | 권장값이 함께 표시됩니다 — DPO 5e-7, RM 1e-5, PPO 1e-6 |
| Batch Size · Gradient Accum Steps | 배치 크기와 누적 횟수 |
| β (KL penalty) | DPO 에서 사용, 0.1 권장. 클수록 원본 SFT 모델에 가깝게 유지됩니다(일반적으로 0.1~0.3). |
| 리소스 설정 | GPU 할당 방식, GPU 수, CPU, 메모리 |
| 자동 재시작 | 학습 작업이 중단되면 마지막 체크포인트에서 자동으로 이어 갑니다(기본 최대 5회). |
4단계: 정렬 시작
정렬 시작을 누릅니다.
주의 PPO 는 학습된 reward model 이 있어야 시작할 수 있습니다. 먼저 RLHF · RM 학습을 완료하세요. PPO 는 하이퍼파라미터에 민감하므로, 작은 모델에서 rollout reward 가 발산하면 Learning Rate 를 더 낮추세요.
학습 작업 상세 화면
목록에서 작업 이름을 누르면 상세 화면이 열립니다. 화면 구성은 사전학습과 같습니다(개요 · 학습 곡선 · 모니터링 · 로그 탭, 복제 · 취소 · 이어서 학습 · 삭제 버튼). 자세한 내용은 사전학습 · 월드모델의 "학습 작업 상세 화면"을 참고하세요.
| 영역 | 파인튜닝 · 정렬에서 보이는 내용 |
|---|---|
| 모델 및 데이터셋 | 베이스 모델, 데이터셋(버전), 출력 모델과 출력 버전, 학습 방법(예: Full Fine-tuning, DPO (β=0.1)) |
| 학습 설정 | Epochs · Learning Rate · Batch Size · Max Seq Length 등, LoRA 계열은 모델 병합 여부(병합 (Full Model) · 어댑터만) |
| 리소스 | GPU 수, 실행 위치(로컬 · 원격), GPU 유형 또는 DRA 템플릿 · 공유 그룹, CPU, Memory |
학습 품질 평가
학습이 끝나면 학습 곡선 탭에 결과 판정과 다음 단계 제안이 표시됩니다.
| 학습 종류 | 판정 예 | 제안 예 |
|---|---|---|
| SFT | 매우 우수 · 우수 · 보통 · 추가 학습 권장, Train/Eval loss 격차가 크면 SFT 과적합 의심 | 다음 단계: 정렬 (DPO) |
| DPO | 매우 강함 · 양호 · 약함 · 거의 변화 없음, 격차가 크면 DPO 과적합 의심 | 다음 단계: vLLM 서빙 + SFT 모델과 비교 |
| Laya | 이동평균 · 에폭 평균 Loss 와 평가셋 정확도, 학습 전 정확도, 판정 지연(질문당) | — |
참고 Laya 의 Loss 는 강화학습(RL)과 분류(CE) loss 를 합친 값이라 음수가 나올 수 있고 배치마다 크게 흔들립니다. 이동평균 · 에폭 평균의 추세와 평가셋 정확도로 판단하세요.
권한
| 대상 | 허용 작업 |
|---|---|
| 학습 작업 권한이 있는 사용자 | 파인튜닝 · 정렬 작업 생성 · 조회 · 취소 · 재개 · 복제 · 삭제 |
| 원격 GPU 풀 사용 권한이 있는 사용자 | 원격 GPU 선택 |
| 공개 범위에 포함된 사용자 | 작업과 출력 모델 조회 |
참고 권한은 IGA(권한 관리)에서 관리합니다.
다음 단계
- 학습이 끝난 모델은 모델 레지스트리에서 확인하세요.
- 평가로 모델 성능을 측정하세요.
- 추론(서빙)으로 모델을 배포하고 테스트하세요.
- 전체 흐름은 데이터에서 서빙까지를 참고하세요.