본문 바로가기
문서 목차
KosmosAI v1.0.2모델

추론(서빙)

모델 레지스트리의 모델을 추론 서비스로 배포하고, 상태 확인·테스트·모니터링·확장·삭제까지 관리하는 화면입니다.

QUANTUM C&S

모델 레지스트리의 모델을 추론 서비스로 배포하고, 상태 확인 · 테스트 · 모니터링 · 확장 · 삭제까지 관리하는 화면입니다.

왼쪽 메뉴 추론에서 엽니다. 배포한 서비스는 AI Gateway 에 노출해 채팅과 에이전트에서 모델로 호출할 수 있습니다.

주요 기능

기능 설명
배포 마법사 모델 선택 → 런타임 선택 → 리소스 설정 → 검토 & 배포 4단계로 추론 서비스를 만듭니다.
런타임 선택 클러스터에 등록된 K8s 런타임, 사전 정의된 템플릿, 직접 작성한 YAML, 분산 LLM 서빙(llm-d) 중에서 고릅니다.
GPU 할당 Device Plugin(GPU · MIG), DRA 전용, DRA 공유 그룹 중에서 고릅니다.
빠른 시작 컨테이너 이미지(OCI)로 저장된 모델은 모델 다운로드 없이 시작합니다.
상태 · 진단 배포 진행 단계, 실행되지 않는 원인과 해결 버튼, 로그, 터미널을 제공합니다.
테스트 채팅 테스트, 추론 테스트(Feature 입력), OCR 테스트와 API 호출 예시를 제공합니다.
운영 시작 · 중지 · 재시작, 복제본 수 조정, YAML 수정, 모니터링, 드리프트, 카나리 배포, 공개 범위 변경
AI Gateway 노출 서비스를 AI Gateway 모델로 등록해 채팅 · 에이전트에서 이름으로 호출하게 합니다(플랫폼 관리자).

서비스 목록

추론 서비스 목록

영역 설명
상단 버튼 모니터링(모니터링 대시보드), 배포 마법사
상태 카드 전체 서비스 · Running · Pending · Failed 수입니다.
GPU 사용량 현재 서비스들이 사용 중인 GPU 수입니다.
검색 · 필터 서비스 이름 검색, 모든 네임스페이스, 모든 런타임 드롭다운, 테이블 보기 · 카드 보기 전환, 새로고침
서비스 표 서비스 이름(아래 줄은 네임스페이스 · 모델 버전, AI Gateway 노출 이름), 상태, 런타임, 평점, GPU, 소유자, 작업
일괄 작업 체크박스로 여러 서비스를 고른 뒤 일괄 시작 · 일괄 중지를 합니다.

서비스 상태

상태 설명
Running (n/m) 서비스가 실행 중입니다. 괄호는 준비된 복제본 수/전체 복제본 수입니다.
Starting 서비스를 시작하는 중입니다.
Ready 서비스가 준비되었습니다.
Ready (Stopped) 배포는 남아 있지만 중지되어 실행 중인 복제본이 없습니다. 시작으로 다시 띄울 수 있습니다.
Stopping... · Terminating 중지 · 종료 중입니다.
Blocked 자원 부족 등으로 실행이 막혀 있습니다. 상세 화면에서 원인을 확인하세요.
Failed 실행에 실패했습니다.
Unknown 상태를 확인할 수 없습니다.

llm-d 서비스에는 Standalone(라우터 없이 직접 호출) 또는 EPP(Gateway Mode 라우팅) 배지가 함께 표시됩니다.

작업 열

버튼 동작
중지(사각형) · 시작(삼각형) 서비스를 중지하거나 다시 시작합니다.
메뉴 AI Gateway 에 노출 또는 AI Gateway 노출 해제(플랫폼 관리자에게만 표시)
삭제(휴지통) 서비스를 삭제합니다. 확인 창에 delete 를 입력해야 합니다.

배포 마법사로 서비스 만들기

배포 마법사를 누르거나, 모델 레지스트리의 모델 상세 화면에서 배포를 누르면 새 추론 서비스 배포 화면이 열립니다. 모델 상세에서 열면 그 모델이 미리 선택됩니다.

1단계: 모델 선택

1단계 — 모델 선택

방식 설명
Model Registry에서 선택 저장소에 파일이 저장된 등록 모델 중에서 고릅니다. 모델 이름 · 프레임워크 · 프로젝트로 검색합니다.
컨테이너 이미지 모델 컨테이너 이미지(modelcar)로 미리 묶어 둔 모델입니다. 서비스가 시작될 때 저장소에서 내려받지 않아 빠르게 뜹니다. 모델 상세에서 OCI 이미지로 푸시를 먼저 실행해야 목록에 나타납니다.
직접 입력 모델의 S3 경로를 직접 입력합니다.

모델을 고르면 선택된 모델, 감지된 모델 타입, 버전 선택, S3 경로가 표시됩니다. 모델과 버전은 항상 짝으로 지정해야 합니다.

팁 이미 운영 중인 서비스를 새 버전으로 조금씩 바꾸려면 이 단계 아래쪽의 카나리 배포 구성 열기를 누르세요. 기존 안정 서비스에 새 버전(또는 외부 LLM)을 일부 트래픽부터 점진적으로 노출합니다.

2단계: 런타임 선택

2단계 — 런타임 선택

선택지 설명
K8s 런타임 클러스터에 등록된 런타임 중에서 고릅니다. 모델 형식에 맞는 런타임이 위쪽에 추천으로 표시되고, 맞지 않는 런타임은 따로 접혀 표시됩니다.
Template 사전 정의된 템플릿을 고릅니다. 템플릿은 주로 LLM(vLLM)용입니다. MLflow 모델을 고르면 MLflow 템플릿이 자동으로 추천됩니다.
Raw YAML 4단계에서 YAML 을 직접 작성합니다. 기본 템플릿이 제공됩니다.
llm-d 분산 LLM 서빙(Distributed LLM serving)입니다. 생성형 언어 모델(LLM) 전용입니다.

주의 고른 런타임이 모델 형식을 서빙하지 못하면 다음 단계로 넘어갈 수 없습니다. 추천 런타임을 고르세요. 등록된 런타임 · 템플릿이 없으면 관리자가 플랫폼 설정에서 먼저 등록해야 합니다.

llm-d 를 고른 경우

llm-d 선택 시 표시되는 항목

항목 설명
Model loading OCI 이미지 (modelcar) — 서비스가 시작될 때 모델을 내려받지 않습니다(모델에 OCI 이미지가 있을 때만). S3 다운로드 — 시작할 때마다 저장소에서 내려받습니다.
S3 credentials 모델 저장소 접근에 쓸 자격증명입니다. OCI 이미지를 쓰면 필요하지 않습니다.

참고 llm-d 는 복제본을 늘릴 때 흩어지는 KV 캐시를 되찾아 주는 장치입니다. 복제본이 1개이면 라우팅 이득 없이 오버헤드만 붙으므로, 복제본 2개 이상에서 사용하세요.

3단계: 리소스 설정

3단계 — 리소스 설정

항목 설명 규칙
서비스 이름 서비스 이름. 남은 글자 수가 함께 표시됩니다. 필수. 소문자 영문으로 시작, 소문자 · 숫자 · 하이픈만, 영문 소문자나 숫자로 끝. 최대 길이는 네임스페이스와 런타임에 따라 다릅니다.
서빙 모델 이름 API 호출 때 쓰는 모델 이름. 비우면 서비스 이름을 씁니다. 일부 런타임은 서비스 이름으로 고정되며 바꿀 수 없습니다.
네임스페이스 서비스를 배포할 작업 공간 필수. 모델의 소속 프로젝트 기준으로 미리 골라집니다.
고급 설정 모델 저장소 접근 방식: 플랫폼 기본 자격증명(권장) · S3 키 직접 입력 · 컨테이너 이미지(다운로드 없음) 키를 비워 두면 플랫폼 자격증명을 사용합니다. 자격증명은 브라우저로 전달되지 않습니다.
리소스 할당량 네임스페이스의 CPU · 메모리 · GPU 할당량과 사용량, 이 서비스에 쓸 수 있는 남은 할당량 팀 할당량을 넘으면 배포가 실패할 수 있습니다.
CPU/Memory 리소스 제한 설정 CPU · 메모리 요청(request)과 한도(limit) 요청은 한도보다 클 수 없습니다. 할당량이 있는 네임스페이스에서는 필수입니다.
GPU 수 · 할당 방식 Device Plugin · DRA · 전용(서비스마다 디바이스 1개) · DRA · 공유 그룹(GPU 1장을 공유) DRA 에서는 Claim 템플릿 또는 공유 그룹을 고르며, GPU 수 칸은 쓰이지 않습니다.
GPU 타입 Device Plugin 방식에서 GPU 또는 MIG 조각 종류 —
/dev/shm 크기 공유 메모리 크기 메모리 한도보다 클 수 없습니다.
설명 서비스 설명 선택
공개 설정 공개 · 그룹 공개 · 비공개. 기본값은 모델의 공개 범위입니다. 그룹 공개는 최소 1개 그룹 필요

주의 컨테이너 이미지(modelcar) 모델은 DRA · 공유 그룹에서 실행되지 않습니다. 전용 Claim 템플릿을 고르세요.

2단계에서 Template을 고른 경우 컨테이너 이미지 설정(전체 이미지 주소)과 GPU 메모리 사용률(0.0~1.0)을 함께 지정합니다.

llm-d 를 고른 경우 이 단계에 다음 항목이 더 표시됩니다.

항목 설명
llm-d router Standalone(기본값) — 라우터 없이 서비스를 직접 호출합니다. Gateway Mode — Gateway · HTTPRoute · EPP 로 캐시 인지 라우팅을 합니다.
Replicas 복제본 수
trust-remote-code 사용자 정의 코드가 포함된 모델(예: EXAONE)에 필요합니다.

4단계: 검토 & 배포

4단계 — 검토 & 배포

이렇게 배포합니다 표에서 모델, 런타임, 리소스, 네임스페이스, 서비스 이름, 모델 적재 방식, GPU, 공개 범위, 예상 소요를 확인합니다.

모델 적재 예상 소요
컨테이너 이미지(다운로드 없음) 약 1~3분
저장소에서 내려받기 약 5~15분(모델 크기 · 이미지 캐시에 따라)

필요하면 **생성된 YAML 보기 · 고치기 (고급)**를 펼쳐 YAML 을 확인하거나 수정합니다. 직접 수정하면 수정된 내용으로 배포됩니다. 확인이 끝나면 서비스 배포를 누릅니다.

참고 배포 직후 상세 화면에 배포 진행 중 단계(리소스 생성 → 이미지 받기 → 모델 로드 → Ready)와 경과 시간이 표시되며, 화면이 자동으로 갱신됩니다.

서비스 상세 화면

목록에서 서비스 이름을 누르면 상세 화면이 열립니다. llm-d 서비스는 별도의 llm-d 상세 화면이 열립니다.

추론 서비스 상세 — 개요

머리 영역 버튼

버튼 표시 조건 동작
새로고침 항상 상태를 다시 읽습니다.
터미널 실행 중일 때 서비스 컨테이너의 터미널을 엽니다.
재시작 배포 권한 서비스를 다시 시작합니다.
중지 · 시작 중지 권한 · 배포 권한 서비스를 중지하거나 다시 시작합니다.
삭제 삭제 권한 서비스를 삭제합니다. 확인 창에 delete 를 입력해야 하며, 되돌릴 수 없습니다.

탭

탭 내용
개요 서비스 정보(네임스페이스, 런타임, 레플리카, 생성 시각, 등록자, 공개범위와 변경), 모델 정보(모델 · 버전 · 모델 URI · 서빙 이름, 레지스트리 파일 수, 모델 상세 보기), 엔드포인트(내부 URL · 외부 URL, 브라우저에서 열기), 리소스 · 상태(CPU · 메모리 · GPU · 노드, 상태 조건)
로그 서비스 로그. 컨테이너(초기화 컨테이너 포함)를 고를 수 있습니다.
YAML 서비스 정의를 보고 편집 후 저장합니다. 적용하면 서비스가 재시작될 수 있습니다.
모니터링 1h · 3h · 6h · 12h · 24h 기간의 CPU, Memory, P95 Latency, RPS, Error Rate, TTFT(첫 토큰)
드리프트 표 형식 모델(mlserver) 서비스 전용. 학습 데이터 분포 대비 운영 데이터 분포 차이(PSI)와 가장 크게 변한 feature, PSI 시계열
Canary 카나리 배포를 시작하고, 트래픽 가중치를 조정하거나 전량 승격 · 전량 롤백 · 카나리 삭제를 합니다.
테스트 서비스가 준비되면 런타임에 맞는 테스트 화면과 API 호출 예시를 보여 줍니다.
평가 사용자 평가(좋아요 · 괜찮아요 · 별로에요, 한 마디)

모니터링 탭

참고 드리프트 점수(PSI)가 0.10 이상이면 주의, 0.25 이상이면 심각한 변화입니다. 점수는 모델 등록 시 기준 통계가 설정되어 있을 때 6시간마다 자동 계산됩니다. SAMANDA Ops 채팅에서 "<서비스 이름> 드리프트 어때?"라고 물으면 재학습 권고까지 받을 수 있습니다.

실행되지 않을 때

배포가 막히면 개요 탭에 왜 실행되지 않나요? 카드가 나타나 원인(할당량 초과, 메모리 부족, 스케줄 불가 등)과 남은 할당량을 보여 줍니다.

버튼 동작
메모리 늘려 재배포 · 리소스 줄여 재배포 리소스 조정 후 재배포 창에서 CPU · 메모리 요청 · 한도만 바꿔 다시 배포합니다. GPU · 모델 설정은 그대로 둡니다.
로그 보기 로그 탭으로 이동합니다.

테스트와 API 호출

테스트 탭 — 추론 테스트

테스트 화면 대상 사용 방법
채팅 테스트 vLLM 등 언어 모델 /v1/chat/completions API 로 대화합니다. 내부 · 외부 호출 선택, Streaming, Temperature, Max Tokens 를 지정하고 메시지를 입력해 전송을 누릅니다. 이미지를 첨부해 질문할 수도 있습니다.
추론 테스트 표 형식 모델 등(KServe V2) 입력 방식을 Form 또는 JSON 으로 고르고 feature 값을 넣은 뒤 Predict를 누릅니다. 결과가 출력에 표시됩니다.
OCR 테스트 OCR 모델 이미지(PNG, JPG, JPEG)를 올리고 실행합니다.

채팅 테스트

API 호출 예시

테스트 탭 아래쪽 API 호출 예시에 런타임에 맞는 curl 예시가 표시되며, 복사로 복사할 수 있습니다.

런타임 API
vLLM 등 언어 모델 OpenAI 호환 API — /v1/chat/completions, /v1/completions
표 형식 모델(MLServer 계열) KServe V2 Infer API — /v2/models/<모델 이름>/infer
Triton · 사용자 정의 KServe V2 Infer API 
curl -X POST https://<외부 URL>/v1/chat/completions \
  -H "Authorization: Bearer <PAT>" \
  -H "Content-Type: application/json" \
  -d '{"model": "<서빙 모델 이름>", "messages": [{"role": "user", "content": "Hello!"}], "max_tokens": 100}'

참고 외부 URL 로 호출할 때는 <PAT> 자리에 개인 액세스 토큰을 넣으세요. 토큰은 내 프로필 · 접근 토큰에서 만듭니다. 클러스터 안에서는 내부 URL 로 토큰 없이 호출할 수 있습니다.

AI Gateway 에 노출하기

추론 서비스를 AI Gateway 의 모델로 등록하면, 채팅 · 에이전트가 지정한 이름으로 이 모델을 호출할 수 있습니다. 이 기능은 플랫폼 관리자만 사용할 수 있습니다.

1단계: 노출 창 열기

목록의 작업 메뉴 또는 llm-d 상세 화면에서 AI Gateway 에 노출을 누릅니다.

2단계: 게이트웨이 모델 이름 입력

항목 규칙
게이트웨이 모델 이름 필수. 영문 · 숫자로 시작하고 영문 · 숫자 · . · _ · -만 사용, 최대 63자

3단계: 노출

노출을 누릅니다. 목록의 서비스 이름 아래에 **AI Gateway 모델: <이름>**이 표시됩니다.

주의 AI Gateway 노출 해제를 하면 게이트웨이 모델 이름도 사라지고, 이 모델을 쓰던 대화는 더 이상 응답하지 않습니다.

llm-d 서비스 상세

llm-d 서비스 상세

llm-d 서비스 상세 화면은 개요 · 로그 · YAML · 모니터링 · 테스트 · 평가 탭으로 되어 있습니다.

항목 설명
머리 영역 시작 · 중지, 삭제(함께 만든 라우팅 설정도 삭제), AI Gateway 에 노출 · 노출 해제(플랫폼 관리자)
Replicas 복제본 수를 입력하고 Apply를 눌러 확장 · 축소합니다. 0 이면 중지합니다.
Model Information 서빙 이름, 모델 URI, 서빙 이미지, 실행 인자
Endpoints 내부 URL 과 EPP 를 거치는 경로. Gateway Mode · EPP 가 경로에 있음 또는 EPP 가 경로에 없음이 표시됩니다.
모니터링 자원 사용량과 복제본별 캐시 적중률. 복제본마다 적중률이 크게 다르면 라우팅이 캐시를 몰아주고 있다는 뜻입니다.
테스트 프롬프트를 입력해 Send를 누르고, EPP 를 지나는 경로와 건너뛰는 경로를 골라 호출합니다.

권한

추론 서비스 작업은 IGA 권한으로 판정합니다.

권한 허용 작업
배포 배포 마법사 사용, 시작, 재시작, 복제본 늘리기
중지 중지, 복제본 0으로 줄이기
삭제 서비스 삭제
수정 YAML 수정, 할당량 문제 시 리소스 줄여 재배포
공유 공개 범위를 그룹 공개로 설정
플랫폼 관리자 AI Gateway 에 노출 · AI Gateway 노출 해제

참고 배포 권한이 없으면 배포 마법사에 추론 서비스를 배포할 권한이 없습니다가 표시됩니다. 관리자에게 권한을 요청하세요. 권한은 IGA(권한 관리)에서 관리합니다.

공개 범위 볼 수 있는 사용자
공개 모든 사용자
그룹 공개 선택한 그룹 멤버
비공개 등록자

다음 단계