본문 바로가기
문서 목차
KosmosAI v1.0.2따라 하기

데이터에서 서빙까지

표 형식 데이터셋 하나로 데이터셋 등록부터 모델 학습·등록, 추론(서빙), 호출 시험까지 순서대로 따라 합니다.

QUANTUM C&S

표 형식 데이터셋 하나로 데이터셋 등록부터 모델 학습 · 등록, 추론(서빙), 호출 시험까지 순서대로 따라 합니다.

참고 예제는 HuggingFace 의 붓꽃(iris) 데이터셋을 씁니다. 같은 일을 SAMANDA 에게 말로 맡기거나 자동화플로우로 반복하는 방법은 이 페이지 뒷부분에서 안내합니다.

이런 일을 할 수 있어요

  • 외부(HuggingFace) 데이터셋을 가져오거나 내 파일을 올려 버전이 있는 데이터셋을 만듭니다.
  • 데이터셋 버전을 골라 분류 · 회귀 분석을 돌리면, 학습된 모델이 모델 레지스트리에 자동 등록됩니다.
  • 등록된 모델을 배포 마법사로 추론 서비스로 띄우고, 테스트 탭에서 바로 예측을 확인합니다.
  • 생성형 언어 모델(LLM)을 내 데이터로 다듬고 싶다면 분석 대신 파인튜닝을 씁니다(아래 "다른 길: 파인튜닝" 참고).

전체 흐름

단계 화면(메뉴) 결과물
1. 데이터 준비 데이터셋 › 데이터셋 목록 데이터셋 + 버전(예: v1.0)
2. 모델 학습 분석 › 분석 작업 분석 결과 + 자동 등록된 모델
3. 모델 확인 모델 › 레지스트리 모델 · 버전, 저장 위치
4. 서빙 추론 추론 서비스(엔드포인트)
5. 시험 추론 서비스 상세 › 테스트 예측 결과, API 호출 예시

참고 각 단계에서 만든 데이터셋 · 분석 · 모델 · 추론 서비스에는 모두 공개 범위(비공개 · 그룹 · 공개)가 있습니다. 분석에서 공개 범위를 고르지 않으면 데이터셋의 공개 범위를 따르고, 자동 등록되는 모델도 같은 범위가 됩니다.

따라 하기

1단계: 데이터셋 준비

방법 A — HuggingFace 에서 가져오기

  1. 왼쪽 메뉴 데이터셋 › 데이터셋 목록으로 이동합니다.
  2. 오른쪽 위 외부 데이터셋 가져오기를 누릅니다.
  3. HuggingFace 탭의 데이터셋 검색 칸에 iris 를 입력하고 검색을 누릅니다.
  4. 검색 결과에서 원하는 데이터셋(예: scikit-learn/iris)을 고릅니다. 실제 데이터 미리보기로 내용을 확인할 수 있습니다.
  5. 가져오기 옵션에서 공개 범위를 고르고 등록을 누릅니다. "데이터셋이 등록되었습니다." 안내가 나옵니다.
  6. 이 단계에서는 메타데이터만 먼저 등록됩니다. 데이터셋 상세 화면으로 들어가 S3 다운로드를 눌러 실제 데이터를 플랫폼 저장소로 받습니다. 진행 중에는 "HuggingFace → S3 다운로드 중" 이 표시되고, 끝나면 목록에 S3 저장됨 배지가 붙습니다.

외부 데이터셋 가져오기 창 — HuggingFace·AkashiQ Sync 탭

팁 이미 같은 저장소에서 가져온 데이터셋이 있으면 "중복 데이터셋 발견" 안내가 나옵니다. 계속을 누르면 기존 데이터셋에 새 버전 추가 또는 새 데이터셋으로 가져오기 중에서 고를 수 있으며, 기존 데이터는 덮어쓰지 않습니다.

방법 B — 내 파일 올리기

  1. 데이터셋 목록에서 새 데이터셋을 누릅니다.
  2. 데이터셋 이름, 설명, 태스크, 포맷, 공개 범위 등을 입력하고 등록을 누릅니다.
  3. 상세 화면의 버전 & 파일 탭에서 새 버전(처음이면 첫 버전 만들기)을 눌러 버전(예: v1.0)을 만듭니다.
  4. 같은 탭에서 파일 업로드 또는 폴더 업로드로 CSV 등의 파일을 올립니다. 전체 진행률이 100%가 되면 완료입니다.

참고 데이터셋은 항상 이름(슬러그) + 버전 한 쌍으로 지정합니다. 분석 · 학습 화면에서 버전을 고르지 않으면 "데이터셋 버전을 선택하세요. (slug + version 페어 필수)" 안내가 나옵니다.

자세한 기능은 데이터셋을 참고하세요.

2단계: 분석으로 모델 학습

  1. 왼쪽 메뉴 분석 › 분석 작업으로 이동해 새 분석을 누릅니다.
  2. 분석 유형 선택 창에서 분류를 고릅니다. 서빙 가능 배지가 붙은 유형(회귀분석, 분류)만 결과가 모델로 등록되어 서빙까지 이어집니다.
  3. 데이터 설정 단계에서 다음을 입력합니다.
    • 분석명: 예) iris 품종 분류
    • 입력 데이터: 데이터셋 (raw) 를 고르고, 데이터셋과 버전을 선택합니다.
    • 타겟 컬럼: 예측할 컬럼(예: Species). 데이터셋 · 버전을 고르면 컬럼 목록이 채워집니다.
    • 학습에서 뺄 ID 성격 컬럼: 행 번호 · 식별자 컬럼(예: iris 의 Id)은 체크해 학습에서 뺍니다.
    • 모델 자동 등록: 등록(기본값). 등록 모드는 버전 추가(같은 모델에 새 버전) 또는 새 모델 중에서 고릅니다.
    • 모델 이름: 레지스트리에 등록될 이름(예: iris-classifier). 분석명을 따라 자동으로 채워집니다.
    • 잡 리소스: 기본 2코어/4GiB 로 시작합니다. 표 데이터 분류는 12코어/24GiB 면 충분합니다.
    • 공개 범위: 비우면 데이터셋의 공개 범위를 따릅니다.
  4. 분석 시작을 누릅니다. "분석이 시작되었습니다." 안내 후 목록에 분석중 상태로 나타납니다.
  5. 상태가 완료가 되면 분석을 눌러 상세 화면을 엽니다. 결과 탭에서 성능 지표를, 로그 탭에서 실행 기록을 확인합니다.

분석 유형 선택 — 회귀분석·분류에 '서빙 가능' 배지

팁 분석 상세의 모델 활용 영역에서 등록된 모델 보기로 레지스트리의 모델로 바로 이동할 수 있습니다. 모델 자동 등록을 끄고 실행했다면 "모델 자동 등록을 켜고 다시 실행해야 등록할 수 있습니다." 안내가 나옵니다.

자세한 기능은 분석 작업을 참고하세요.

3단계: 모델 레지스트리에서 확인

  1. 왼쪽 메뉴 모델 › 레지스트리에서 등록된 모델(예: iris-classifier)을 찾아 엽니다.
  2. 버전/파일 탭에서 버전과 저장된 파일을 확인합니다.
  3. 오른쪽 위 배포 버튼(모델 파일이 저장소에 있고 아직 서빙 중이 아닐 때 보임)을 누르면 이 모델이 선택된 채로 배포 마법사가 열립니다.

자세한 기능은 모델 레지스트리를 참고하세요.

4단계: 추론 서비스 배포

  1. 모델 상세의 배포를 누르거나, 왼쪽 메뉴 추론 화면에서 배포 마법사를 누릅니다. 새 추론 서비스 배포 화면이 4단계로 열립니다.
  2. 모델 선택: Model Registry에서 선택에서 모델과 버전을 고릅니다.
  3. 런타임 선택: K8s 런타임 탭에서 표 형식 모델에 맞는 런타임을 고릅니다. 모델 형식에 맞는 런타임이 위쪽에 표시됩니다.

    참고 llm-d 는 생성형 언어 모델(LLM) 전용이라 표 형식 모델에는 고를 수 없습니다. Template 도 주로 LLM(vLLM)용입니다.

  4. 리소스 설정: 서비스 이름, 네임스페이스, CPU · 메모리 등을 정합니다. 화면에 이 서비스에 쓸 수 있는 남은 할당량이 표시되며, 팀 쿼터를 넘으면 "팀 쿼터 초과" 안내가 나옵니다. 공개 범위는 모델의 공개 범위를 그대로 가져옵니다.
  5. 검토 & 배포: 만들어질 설정(YAML)을 확인하고 서비스 배포를 누릅니다.
  6. 추론 목록에서 서비스 상태가 준비될 때까지 기다립니다.

주의 서비스가 뜨지 않으면 서비스 상세의 왜 실행되지 않나요? 영역을 확인하세요. 쿼터 초과 · 메모리 부족(OOMKilled) · 모델 다운로드 실패 등 원인과 해결 방법이 한국어로 표시되고, 리소스 줄여 재배포 · 메모리 늘려 재배포 같은 바로가기가 제공됩니다. 자주 묻는 질문도 참고하세요.

자세한 기능은 추론(서빙)을 참고하세요.

5단계: 호출 시험

  1. 추론 목록에서 서비스를 눌러 상세 화면을 엽니다.
  2. 테스트 탭에서 입력값을 넣고 Predict 를 누릅니다. 오른쪽 출력에 예측 결과가 표시됩니다.
  3. 같은 탭의 API 호출 예시에서 curl 예시를 복사해 외부 프로그램에서 부를 수 있습니다. 바깥에서 부를 때는 <PAT> 자리에 개인 액세스 토큰을 넣습니다.
curl -X POST https://<추론 서비스 외부 주소>/v2/models/<모델 이름>/infer \
  -H "Authorization: Bearer <PAT>" \
  -H "Content-Type: application/json" \
  -d '{ ... }'

참고 실제 주소와 모델 이름, 입력 형식은 API 호출 예시에 서비스별로 채워져 나옵니다. 위 예시는 형태만 보여 줍니다.

다른 길: 파인튜닝

LLM 을 내 데이터로 학습시키려면 분석 대신 파인튜닝을 씁니다.

  1. 모델 › 파인튜닝에서 새 파인튜닝을 누릅니다.
  2. 기본 정보(작업 이름, 출력 모델 이름, 공개 범위)를 입력합니다.
  3. 모델 & 데이터셋에서 베이스 모델과 버전, 학습 데이터셋과 버전을 고르고 학습 방식 · 학습 파라미터 · GPU 수를 정합니다.
  4. 학습 시작을 누릅니다. 학습이 끝나면 결과 모델이 모델 레지스트리에 새 버전으로 등록되고, 이후 서빙 단계는 위와 같습니다(LLM 은 외부 모델 가져와 서빙하기의 LLM 배포 방법 참고).

자세한 기능은 파인튜닝 · 정렬을 참고하세요.

SAMANDA 에게 맡기기

같은 작업을 SAMANDA 에게 말로 부탁할 수 있습니다. 화면 오른쪽 위 SAMANDA 버튼으로 대화창을 열고 이렇게 요청해 보세요.

  • "HF iris 데이터로 분석→모델 등록→서빙 자동화 만들어줘"
  • "허깅페이스에서 데이터셋 가져와줘"
  • "데이터셋으로 분류 분석 돌려줘"
  • "서빙 중인 모델 뭐 있어?"

SAMANDA 는 만들기 · 배포처럼 무언가를 바꾸는 작업은 계획을 먼저 보여 주고, 승인하면 실행합니다. 입력창 위에 승인 필요 카드가 나타나면 자세히로 계획을 확인한 뒤 승인 또는 거절을 누르세요. "응"이라고 답해도 승인과 같습니다.

참고 SAMANDA 가 하는 모든 작업은 요청한 사람의 권한으로 실행됩니다. 내가 화면에서 할 수 없는 작업은 SAMANDA 를 통해서도 할 수 없습니다.

반복 실행: 자동화플로우 템플릿

같은 과정을 정기적으로 반복하려면 플로우 › 자동화플로우에서 템플릿으로 만들기를 누르고 HuggingFace 데이터셋 → 분석 → 모델 등록 → 서빙 템플릿의 만들기를 누릅니다. 4개 단계(HF 데이터셋 가져오기 → 분류 분석 → 모델 등록 → mlserver 서빙)가 채워진 플로우가 만들어지며, 앞 단계가 성공하면 다음 단계가 이어서 실행됩니다. 자세한 방법은 반복 업무 자동화하기를 참고하세요.

권한

  • 각 화면의 만들기 버튼은 해당 작업 권한(예: 데이터셋 만들기, 분석 실행, 추론 배포)이 있어야 누를 수 있습니다. 권한이 없으면 거부 메시지에 사유와 필요한 조치가 함께 표시됩니다.
  • 다른 사람의 데이터셋 · 모델을 쓰려면 그 리소스가 나에게 공개(그룹 · 전체)되어 있어야 합니다.
  • 내 권한은 내 프로필 › 내 권한에서 확인합니다. 자세한 내용은 IGA(권한 관리)를 참고하세요.

관련 항목