문서 목차
평가
실행 중인 추론(서빙) 서비스에 테스트 데이터셋을 보내 모델의 능력을 점수로 측정하는 화면입니다.
QUANTUM C&S
실행 중인 추론(서빙) 서비스에 테스트 데이터셋을 보내 모델의 능력을 점수로 측정하는 화면입니다.
왼쪽 메뉴 모델 > 평가에서 엽니다. 에이전트용 소형 언어 모델(SLM)의 도구 호출 · 지시 따르기 · 구조화 출력 같은 능력과, 결정 · 라우팅 모델(Laya)의 판정 정확도를 평가할 수 있습니다.
주요 기능
| 기능 | 설명 |
|---|---|
| 평가 유형 선택 | 도구 호출, 지시 따르기, 구조화 출력, 한국어 이해, 멀티턴 대화, 안전성, 결정 · 라우팅(Laya) 중에서 고릅니다. |
| 채점 방식 선택 | 자동 채점, LLM 심사, 둘 다 중에서 고릅니다. |
| 진행 확인 | 평가한 샘플 수와 진행률을 실시간으로 확인합니다. |
| 결과 분석 | 종합 점수, 채점 방식별 점수, 항목별 점수, 샘플별 응답과 채점 이유를 확인합니다. |
| 결정 모델 분석 | Laya 평가는 정확도, 보정 오차(ECE), 지연 시간, 라벨별 정밀도 · 재현율, 혼동 상위, 회귀 문항 통과율을 보여 줍니다. |
화면 구성
| 영역 | 설명 |
|---|---|
| 새 평가 | 평가 생성 창을 엽니다. |
| 상태 카드 | 전체 · 평가중 · 완료 · 실패 평가 수입니다. |
| 검색 · 필터 | 평가명 또는 모델명 검색, 평가 유형 전체, 상태 전체 드롭다운, 새로고침 |
| 평가 표 | 평가명, 모델(평가 대상 서비스), 유형, 채점, 상태, 점수, 생성일, 작업(삭제) |
| 자동화 배지 | 자동화 플로우가 실행한 평가입니다. |
| 일괄 삭제 | 체크박스로 여러 평가를 고른 뒤 선택 삭제를 누릅니다. |
평가 상태
| 상태 | 설명 |
|---|---|
| 대기중 | 실행을 기다리고 있습니다. |
| 평가중 | 샘플을 평가하고 있습니다. |
| 완료 | 평가가 끝나 점수가 나왔습니다. |
| 실패 | 평가 중 오류가 발생했습니다. 상세 화면의 오류 내용과 로그를 확인하세요. |
| 취소됨 | 사용자가 평가를 취소했습니다. |
평가 유형과 채점 방식
| 평가 유형 | 측정 내용 |
|---|---|
| 도구 호출 | Function calling 정확도(기본값) |
| 지시 따르기 | 규칙 및 제약 준수 |
| 구조화 출력 | JSON/YAML 파싱 성공률 |
| 한국어 이해 | 한국어 입출력 품질 |
| 멀티턴 대화 | 문맥 유지 능력 |
| 안전성 | 유해 요청 거부 정확도 |
| 결정 · 라우팅(Laya) | 선택형 결정 정확도 · 라벨별 재현율 · 회귀 문항 |
| 채점 방식 | 설명 |
|---|---|
| 자동 채점 | Exact match, JSON 파싱, 정규식으로 채점합니다(기본값). |
| LLM 심사 | 심사 모델이 응답 품질을 채점합니다. |
| 둘 다 | 자동 채점과 LLM 심사를 함께 합니다. |
참고 결정 · 라우팅(Laya) 유형은 정답 라벨과 비교해 자동 채점합니다. 이 유형에서는 LLM 심사를 쓰지 않습니다.
평가 만들기
1단계: 평가명과 유형
새 평가를 누르고 평가명(필수, 예: Qwen3-4B 도구호출 평가)을 입력한 다음 평가 유형과 채점 방식을 고릅니다.
2단계: 평가 대상 모델
평가 대상 모델에서 추론 서비스를 고릅니다(필수).
| 평가 유형 | 고를 수 있는 서비스 |
|---|---|
| 일반 유형 | Running 상태이며 대화가 가능한 추론 서비스 |
| 결정 · 라우팅(Laya) | Laya 런타임으로 실행 중인 서비스. 없으면 실행 중인 전체 서비스가 표시되며, KServe v1 predict 를 지원하는 Laya 서비스를 고르세요. |
3단계: 심사 모델(LLM 심사일 때)
채점 방식이 LLM 심사 또는 둘 다이면 **심사 모델 (LLM Judge)**을 고릅니다(필수). 평가 대상과 다른 실행 중인 서비스 중에서 고르며, 평가 대상보다 큰 모델을 권장합니다.
4단계: 테스트 데이터셋
테스트 데이터셋과 버전을 고릅니다(필수). 데이터셋과 버전은 항상 짝으로 지정해야 합니다.
참고 결정 · 라우팅(Laya) 평가의 데이터셋은
laya_router.json형식(questions · items)이어야 합니다.split=test항목이 고정 평가셋이고,source=human항목은 반드시 맞혀야 할 회귀 문항으로 따로 집계합니다.
5단계: 평가 설정
| 항목 | 기본값 | 범위 |
|---|---|---|
| 배치 크기 | 8 | 1~64 |
| 최대 샘플 (0=전체) | 0(전체) | 0 이상 |
| Temperature | 0.0 | 0~2 |
| 최대 토큰 | 1024 | 64~8192 |
6단계: 평가 시작
평가 시작을 누릅니다. 평가가 목록에 추가되고, 진행 중인 평가가 있으면 목록이 자동으로 갱신됩니다.
평가 상세 화면
목록에서 평가명을 누르면 상세 화면이 열립니다.
| 영역 | 설명 |
|---|---|
| 머리 영역 | 평가명, 상태, 유형 · 대상 모델 · 채점 방식. 평가중일 때 취소 버튼, 새로고침, 삭제 버튼 |
| 평가 진행률 | 평가 중일 때 평가한 샘플 / 전체 샘플이 표시됩니다. |
| 오른쪽 카드 | 평가 대상 모델, 심사 모델(LLM 심사일 때), 데이터셋(버전), 메타데이터(생성자 · 생성일 · 완료일 · 공개 · ID) |
탭
| 탭 | 내용 |
|---|---|
| 개요 | 종합 점수와 평가한 샘플 수, 채점 방식별 점수(자동 채점 · LLM 심사), 평가 설정(평가 유형 · 채점 방식 · 배치 크기 · 최대 샘플 · 최대 토큰 · 전체 샘플 · 소요 시간). 실패하면 평가 실패 사유가 표시됩니다. |
| 상세 결과 | 항목별 점수, 샘플별 응답 / 채점 이유(응답, 점수, 심사 이유 또는 자동 채점 사유) |
| 로그 | 평가 실행 로그 |
결정 · 라우팅(Laya) 평가 결과
| 항목 | 설명 |
|---|---|
| 정확도(평가셋) | 평가셋 정답 비율(정답 수/전체) |
| ECE | 보정 오차 — 낮을수록 좋습니다. |
| 평균 지연 | 질문당 판정 시간과 p95 |
| 회귀 문항 통과율 | 반드시 맞혀야 할 문항의 통과 비율 |
| 라벨별 정밀도 · 재현율 | 라벨마다 n, 예측 수, Precision, Recall, F1 |
| 혼동 상위 (정답 → 예측) | 가장 많이 헷갈린 라벨 쌍 |
참고 Laya 평가 결과는 해당 모델 버전의 성적(evaluation)에 함께 기록됩니다. 기록하지 못하면 그 사유가 화면에 표시됩니다.
팁 상세 결과는 일부 항목만 화면에 표시됩니다. 표시되지 않은 항목이 있으면 숨긴 항목 수가 함께 안내됩니다.
권한
| 대상 | 허용 작업 |
|---|---|
| 평가 권한이 있는 사용자 | 평가 생성 · 조회 · 취소 · 삭제 |
| 공개 범위에 포함된 사용자 | 평가 결과 조회 |
참고 평가 대상과 심사 모델로는 내가 접근할 수 있는 실행 중인 추론 서비스만 고를 수 있습니다. 권한은 IGA(권한 관리)에서 관리합니다.