문서 목차
데이터셋
AI 학습·분석에 쓰는 데이터를 등록하고, 파일을 버전 단위로 관리합니다.
QUANTUM C&S
AI 학습 · 분석에 쓰는 데이터를 등록하고, 파일을 버전 단위로 관리합니다.
KosmosAI 의 데이터셋은 파일 묶음을 버전으로 보관하고, 누가 언제 무엇을 바꿨는지 이력으로 남깁니다. 메뉴 데이터셋 > 데이터셋 목록(/datasets)에서 엽니다.
주요 기능
| 기능 | 설명 |
|---|---|
| 목록 · 검색 | 이름으로 검색하고 형식 · 태스크 · 공개 범위로 걸러 봅니다. |
| 새 데이터셋 | 데이터셋을 등록하고 버전을 만들어 파일 · 폴더를 업로드합니다. |
| 외부 데이터셋 가져오기 | HuggingFace Hub 또는 AkashiQ 의 데이터를 가져옵니다. |
| 버전 관리 | 새 버전을 만들거나 기존 버전을 복제합니다. 복제는 파일을 실제로 복사하지 않아 즉시 끝납니다. |
| 파일 미리보기 · 편집 | 이미지 · PDF · 영상 · 음성을 미리 보고, CSV · Parquet · 텍스트 파일은 화면에서 고쳐 저장합니다. |
| 변경 이력 | 파일 생성 · 수정 · 삭제를 버전 · 유형 · 작성자별로 추적합니다. |
| 공유 | 공개 범위(비공개 · 그룹 · 공개)를 정하고, 속하지 않은 그룹에는 공유를 요청합니다. |
| 평가 | 좋아요 · 괜찮아요 · 별로에요와 의견을 남깁니다. |
| Iceberg 테이블 등록 | Parquet 파일을 데이터 레이크에서 SQL 로 조회할 수 있게 등록합니다. |
참고 데이터셋은 언제나 슬러그 + 버전 한 쌍으로 가리킵니다(예:
coater-defect-eval-wm의v1.0). 전처리 · 라벨링 · 분석에서 데이터셋을 고를 때도 버전을 반드시 함께 고르며, 버전을 비운 채로는 작업을 시작할 수 없습니다.
화면 구성 — 목록
| 영역 | 설명 |
|---|---|
| 머리글 | 외부 데이터셋 가져오기, 새 데이터셋 버튼 |
| 요약 카드 | 내가 볼 수 있는 데이터셋의 전체 수, 외부에서 가져온 외부 수, 공개 수, 최근 7 일 동안 갱신된 수 |
| 필터 | 이름 검색, 모든 형식, 모든 태스크, 모든 공개 범위 |
| 데이터셋 카드 | 데이터셋 한 건의 요약. 누르면 상세 화면으로 이동합니다. 한 쪽에 50개씩 보입니다. |
데이터셋 카드에 보이는 정보
| 표시 | 설명 |
|---|---|
| 형식 배지 | CSV · Parquet · JSON 등. 누르면 그 형식만 보도록 필터가 걸립니다. |
| 공개 범위 배지 | 공개 · 그룹 · 비공개. 누르면 그 공개 범위만 보도록 필터가 걸립니다. |
| 출처 링크 | 외부에서 가져온 데이터셋의 HuggingFace · AkashiQ 원본 링크 |
| S3 저장됨 / 다운로드 미완료 | 외부 데이터를 플랫폼 저장소에 모두 받았는지 여부 |
| 자동화 표시 | 자동화 플로우가 만든 데이터셋 |
| 아래 줄 | 소유자, 최신 버전, 크기, 파일 수, 수정 시각, 버전 수, 좋아요 수 |
| KRN 복사 | IGA 정책에 넣을 리소스 주소를 상세 화면에 들어가지 않고 복사합니다. |
필터 선택지
| 필터 | 선택지 |
|---|---|
| 형식 | CSV, Parquet, JSON, JSONL, Arrow, Text, Image, Audio, Video, Binary, Mixed, Other |
| 태스크 | Text Classification, Text Generation, Question Answering, Summarization, Translation, Image Classification, Object Detection, Speech Recognition |
| 공개 범위 | 비공개, 그룹 공개, 전체 공개 |
새 데이터셋 만들기
1단계: 등록 화면 열기
목록 오른쪽 위 새 데이터셋을 누르세요.
2단계: 정보 입력
| 항목 | 설명 | 규칙 |
|---|---|---|
| 데이터셋 이름 | 화면에 보이는 이름. 슬러그(주소에 쓰이는 영문 식별자)는 이름에서 자동으로 만들어집니다. | 필수 |
| 설명 | 데이터셋 소개 | 선택 |
| 태스크 | 데이터의 용도 | 선택 |
| 포맷 | 주 파일 형식 | 필수, 기본 JSON |
| 태그 | 검색용 키워드. 입력 후 Enter 를 누르세요. | 선택 |
| 라이선스 | 예: Apache-2.0, CC-BY-4.0 | 선택 |
3단계: 공개 범위 선택
| 공개 범위 | 볼 수 있는 사람 |
|---|---|
| 비공개 | 나만 |
| 그룹 | 그룹(프로젝트) 멤버만. 여러 프로젝트에 속해 있으면 공개할 프로젝트를 함께 고릅니다. |
| 공개 | 모든 사용자 |
4단계: 등록
등록을 누르면 데이터셋 상세 화면으로 이동합니다.
참고 데이터셋을 만든 직후에는 버전이 없습니다. 상세 화면의 버전 & 파일 탭에서 첫 버전을 만들고 파일을 올리세요. 각 버전은 저장소에 독립적으로 보관됩니다.
외부 데이터셋 가져오기
1단계: 출처 선택
목록에서 외부 데이터셋 가져오기를 누르고, 위쪽 탭에서 출처를 고르세요.
| 탭 | 대상 |
|---|---|
| HuggingFace | HuggingFace Hub 의 공개 데이터셋 |
| AkashiQ Sync | AkashiQ 에 등록된 데이터 자산(Iceberg 뷰 · 테이블) |
2단계: 검색
데이터셋 검색 칸에 검색어(예: imdb, squad)를 넣고 검색 또는 Enter 를 누르세요. 결과는 최대 20건까지 보이며, 이미 가져온 저장소에는 가져옴 표시가 붙습니다.
3단계: 가져오기 옵션 지정
결과 하나를 누르면 상세 정보와 가져오기 옵션이 나옵니다.
| 항목 | 설명 |
|---|---|
| 데이터셋 구성 | HuggingFace 데이터셋에 구성(config)이 여러 개 있으면 고릅니다. |
| 데이터셋 이름 | 비워 두면 저장소 이름으로 정해집니다. 아래에 만들어질 슬러그가 미리 보입니다. |
| 공개 범위 | 비공개 · 그룹 · 공개. 기본값은 현재 고른 프로젝트에 공개(프로젝트가 없으면 비공개)입니다. |
4단계: 등록
등록을 누르면 데이터셋의 버전 & 파일 탭으로 이동합니다. 이 단계에서는 메타데이터만 등록됩니다.
5단계: 실제 데이터 받기
버전 & 파일 탭에서 S3 다운로드(HuggingFace) 또는 데이터 불러오기(AkashiQ)를 누르세요. AkashiQ 데이터는 Parquet 으로 추출되어 저장됩니다.
| 상태 | 설명 |
|---|---|
| 다운로드 중 | 진행률(완료 파일 수/전체 파일 수)과 받는 중인 파일이 보입니다. 취소할 수 있습니다. |
| 다운로드 미완료 | 중간에 끊긴 상태입니다. 이어받기로 나머지를 받으세요. |
| 다운로드 실패 | 오류가 표시됩니다. 재시도를 누르세요. |
| S3 저장됨 | 모든 파일을 받았습니다. |
이미 가져온 저장소를 다시 가져올 때
같은 저장소를 다시 고르면 중복 데이터셋 발견 창이 뜨고 기존 데이터셋 목록을 보여 줍니다. 계속을 누르면 가져오기 방식을 고를 수 있습니다. 어느 쪽이든 기존 데이터는 덮어쓰지 않습니다.
| 가져오기 방식 | 동작 |
|---|---|
| 기존 데이터셋 ○○ 에 새 버전 추가 | 슬러그는 그대로 두고 다음 버전(v1.1 …)을 만듭니다. 공개 범위 · 소속 프로젝트는 기존 데이터셋을 따르며, 그 데이터셋에 쓰기 권한이 있어야 합니다. |
| 새 데이터셋으로 가져오기 | 이름(필수)을 정하면 새 슬러그로 등록합니다. |
주의 AkashiQ 데이터를 검색 · 가져오려면 플랫폼에 AkashiQ 연동 키가 설정되어 있어야 합니다. "AkashiQ 연동 키가 설정되지 않았습니다." 안내가 보이면 운영 관리자에게 설정 > Model Registry > AkashiQ에서 키를 등록 · 확인해 달라고 요청하세요. 운영 관리자에게는 해당 설정 화면으로 가는 버튼이 함께 보입니다.
화면 구성 — 상세
| 영역 | 설명 |
|---|---|
| 머리글 | 데이터셋 이름과 슬러그, 소속 프로젝트 배지, 출처 배지(외부 데이터셋), 즐겨찾기(별), 수정 · 삭제(편집 권한이 있을 때만) |
| 요약 | 버전 수, 전체 파일 수, S3 저장 용량, 다운로드 횟수 |
| 탭 | 개요, 버전 & 파일, 변경 이력, 평가 |
개요 탭
| 항목 | 설명 |
|---|---|
| README | 데이터셋 설명. 설명이 없으면 설명 추가하기가 보입니다. |
| 태그 | 등록한 태그 |
| 데이터셋 정보 | 형식, 공개 범위, 소속 프로젝트, 태스크, 라이선스, 소유자, 생성일, 수정일 |
| KRN | IGA 정책의 리소스 주소. 오른쪽 버튼으로 복사합니다. |
| 현재 버전 | 선택된 버전 이름, 상태(Draft · Published · Deprecated), 파일 수 · 용량, 생성 시각 |
| 다른 그룹에 공유 요청 | 공개 범위가 공개가 아닐 때 소유자에게만 보입니다. |
수정을 누르면 데이터셋 정보 수정 창에서 이름, 설명, 공개 범위, 태스크, 라이선스를 고칠 수 있습니다.
버전 & 파일 탭
왼쪽은 버전 목록, 오른쪽은 선택한 버전의 파일입니다.
| 버전 영역 | 설명 |
|---|---|
| 버전 목록 | 버전 이름과 파일 수 · 용량. 다른 버전을 복제해 만든 버전은 원본 아래에 들여 쓰기로 묶여 보이며, 화살표로 펼치거나 접습니다. |
| 설명 · 변경 사항 | 선택한 버전의 설명과 변경 사항, 이 버전을 만든 자동화 플로우(있을 때) |
| ZIP 다운로드 | 버전의 파일 전체를 ZIP 으로 받습니다. |
| 복제 | 이 버전을 바탕으로 새 버전을 만듭니다. |
| 삭제 | 버전을 삭제합니다. 되돌릴 수 없습니다. |
| 최근 변경 | 가장 최근 파일 변경. 전체 보기를 누르면 변경 이력 탭으로 이동합니다. |
| 파일 영역 | 설명 |
|---|---|
| 검색 · 보기 전환 | 파일 검색, 트리 보기/목록 보기, 모두 펼치기/모두 접기 |
| 동기화 | 저장소의 실제 파일과 목록을 다시 맞춥니다. |
| 새 폴더 | 슬래시(/)로 중첩 폴더를 한 번에 만들 수 있습니다(예: data/train). |
| 파일 · 폴더 | 업로드. 영역에 끌어다 놓아도 됩니다. 형식 제한은 없습니다. 업로드 중에는 파일별 상태(대기 · 진행률 · 완료 · 실패)와 전체 진행률이 보입니다. |
| 파일별 버튼 | 미리보기(눈 모양), 다운로드, 삭제. Parquet 파일에는 Iceberg 테이블 등록 버튼(눈송이 모양)이 함께 있습니다. |
| 여러 항목 선택 | 체크한 뒤 ○개 삭제로 한꺼번에 지웁니다. 파일 삭제는 확인 문구를 입력해야 진행됩니다. |
| 정렬 · 쪽 | 목록 보기에서 이름 · 크기 · 수정일로 정렬하고 페이지당 표시 개수를 바꿉니다. |
참고 외부에서 가져온 데이터셋의 데이터를 받는 중에는 새 폴더 · 업로드 버튼이 숨겨집니다.
파일 미리보기와 편집
파일 이름이나 미리보기 버튼을 누르면 미리보기 창이 열립니다.
| 파일 종류 | 미리보기 | 편집 |
|---|---|---|
| 이미지 · PDF · 영상 · 음성 | 화면에서 바로 표시 | — |
| CSV | 스프레드시트 형태 | 스프레드시트 편집 — 행 · 열 추가/삭제, 셀 수정, 되돌리기 |
| Parquet | 표 형태(쪽 단위). 50MB 이하 파일만 | 편집 후 저장 |
| 텍스트 계열(txt, md, json, jsonl, yaml, xml, py, sql, log 등) | 본문 표시 | 편집기로 수정 |
편집한 내용을 저장하면 변경 사항 저장 창이 뜹니다. 변경 코멘트(선택)는 변경 이력에 기록됩니다. 새 버전으로 저장을 켜고 새 버전 이름을 입력하면 현재 버전은 그대로 두고 복제한 새 버전에 저장합니다.
변경 이력 탭
모든 버전의 파일 생성 · 수정 · 삭제가 기록됩니다. 검색어(파일명 · 변경 내용), 모든 버전, 모든 유형(생성 · 수정 · 삭제), 정렬(날짜순 · 파일명순 · 유형순, 오름/내림차순)을 고른 뒤 검색을 누르세요. 표에는 버전, 변경 유형, 파일, 변경 내용, 작성자, 날짜가 나옵니다.
평가 탭
좋아요 · 괜찮아요 · 별로에요 중 하나를 눌러 평가하고 의견을 남깁니다. 평가가 쌓이면 참여 인원과 평가 분포, 최근 의견이 보입니다. 목록 카드의 좋아요 수는 여기서 집계됩니다.
버전 만들기와 복제
1단계: 새 버전 만들기
- 버전 & 파일 탭에서 버전 목록 위 + 버튼(버전이 없으면 첫 버전 만들기)을 누르세요.
- 버전(예:
v1.0), 설명, 변경 사항을 입력하고 만들기를 누르세요. - 빈 버전이 만들어집니다. 파일을 업로드해 채우세요.
2단계: 기존 버전 복제
- 원본 버전을 고르고 복제를 누르세요.
- 새 버전 이름(예:
v1.1)과 변경 사항(필수)을 입력하고 복제를 누르세요. - 원본의 파일 목록을 그대로 가진 새 버전이 만들어집니다.
팁 복제는 파일을 실제로 복사하지 않고 원본 파일을 함께 가리키는 방식(Copy-on-Write)이라 파일 크기와 상관없이 즉시 끝나고 저장 공간도 더 들지 않습니다. 새 버전에서 파일을 고치거나 지워도 원본 버전은 바뀌지 않습니다.
| 규칙 | 설명 |
|---|---|
| 버전 이름 | 같은 데이터셋 안에서 중복될 수 없습니다. |
| 하위 버전이 있는 버전 | 삭제할 수 없습니다. 하위 버전을 먼저 삭제하세요. |
| 함께 쓰는 파일 | 버전을 삭제해도 다른 버전이 함께 쓰는 파일은 지워지지 않습니다. |
Iceberg 테이블로 등록
Parquet 파일을 데이터 레이크에서 SQL 로 조회하려면 파일 옆 눈송이 버튼을 누르세요. 폴더 안에 Parquet 파일이 여러 개 있으면 폴더 옆 버튼으로 여러 Parquet 파일을 하나의 Iceberg 테이블로 등록할 수 있습니다.
등록되면 데이터 레이크 화면으로 이동하며 조회 SQL 이 채워져 있습니다. 같은 이름의 테이블이 이미 있으면 안내 후 데이터 레이크로 바로 이동합니다.
다른 그룹에 공유 요청
공개 범위의 그룹에서는 내가 속한 프로젝트만 고를 수 있습니다. 내가 속하지 않은 그룹에 데이터셋을 보여 주려면 공유를 요청하세요.
1단계: 요청
개요 탭의 다른 그룹에 공유 요청을 누르고 공유할 그룹, 기간(30 · 90 · 180 · 365일), 사유를 입력한 뒤 요청을 누르세요.
2단계: 결재
요청자의 팀장(없으면 운영 관리자)이 결재합니다. 결재 현황은 내 프로필 · 접근 토큰에서 볼 수 있습니다.
3단계: 적용
승인되면 그 그룹에 정한 기간 동안 읽기 권한이 주어집니다.
다른 화면에서 데이터셋 쓰기
| 하는 일 | 화면 |
|---|---|
| 영상 · 이미지에 라벨 달기 | 라벨링 |
| 학습 형식으로 변환 | 전처리 |
| 통계 분석 · 분류/회귀 모델 학습 | 분석 작업 |
| 모델 파인튜닝 | 파인튜닝 · 정렬 |
| SQL 로 조회 · 결과를 데이터셋으로 저장 | 데이터 레이크 |
어느 화면이든 데이터셋과 버전을 함께 고릅니다.
권한
데이터셋 접근은 IGA(권한 관리) 정책으로 판정합니다.
| 작업 | 필요한 권한 |
|---|---|
| 목록 · 상세 보기 | 공개 범위 안에 있거나 읽기 권한 |
| 정보 수정, 버전 만들기 · 복제, 파일 업로드 · 편집 | 쓰기 권한(소유자 등) |
| 버전 · 파일 · 데이터셋 삭제 | 삭제 권한 — 쓰기 권한과 별개입니다. |
| 다른 그룹에 공유 요청 | 소유자 |
- 권한이 없는 데이터셋을 열면 접근 거부 화면에 무엇이 왜 거부되었는지와 필요한 역할이 표시됩니다. 그 내용을 관리자에게 전달해 권한을 요청하세요.
- 편집 권한이 없으면 수정 · 삭제 버튼이 보이지 않습니다.
주의 데이터셋 삭제는 확인 칸에
delete를 입력해야 진행되며, 모든 버전과 파일이 영구 삭제됩니다.
알아두면 좋은 점
- 버전 상태 배지(Draft · Published · Deprecated)는 정보 표시용입니다.
- SAMANDA 에게 요청해 HuggingFace 데이터셋을 가져오면 목록이 자동으로 새로 고쳐집니다.
- 라벨링 작업을 만들면 데이터셋에
<원본 버전>-labeling버전이 생깁니다. 정상 동작입니다(라벨링 참고).