문서 목차
전처리
데이터셋을 학습에 알맞은 형식으로 변환하고, 결과를 새 데이터셋으로 자동 등록합니다.
QUANTUM C&S
데이터셋을 학습에 알맞은 형식으로 변환하고, 결과를 새 데이터셋으로 자동 등록합니다.
메뉴 데이터셋 > 전처리(/datasets/preprocessing)에서 엽니다. 프리셋(미리 정의된 변환)을 고르거나 직접 작성한 Python 스크립트로 변환할 수 있습니다.
주요 기능
| 기능 | 설명 |
|---|---|
| 프리셋 변환 | 포맷 변환 · 컬럼 매핑 · SFT 학습셋 생성 등 미리 정의된 변환을 실행합니다. |
| 커스텀 스크립트 | 직접 작성한 Python 스크립트로 변환합니다. 필요하면 GPU 1장을 받아 실행합니다. |
| 정적 검증 · Dry-run | 커스텀 스크립트를 실행 전에 검사하고, 일부 행으로 시험 실행해 결과 모양을 미리 봅니다. |
| 진행 확인 | 진행률 · 로그 · 리소스 사용량 · 결과를 확인합니다. |
| 작업 관리 | 실행 중인 작업을 취소하고, 끝난 작업을 삭제합니다. |
| 자동 등록 | 변환 결과를 출력 데이터셋으로 자동 등록합니다. |
화면 구성 — 작업 목록
| 영역 | 설명 |
|---|---|
| 요약 카드 | 전체, 실행중, 완료, 실패 작업 수. 카드를 누르면 해당 상태로 목록이 걸러집니다. |
| 검색 | 작업명 · 프리셋으로 검색합니다. 오른쪽 버튼으로 새로 고칩니다. |
| 작업 표 | 작업명(이름과 소스 버전), 상태, 프리셋, 진행률, 소요시간, 생성일(날짜와 만든 사람), 작업(삭제) |
| 선택 삭제 | 여러 작업을 체크하면 선택 삭제로 한꺼번에 지웁니다. |
행을 누르면 작업 상세 화면으로 이동합니다.
| 상태 | 설명 |
|---|---|
| 대기중 | 실행을 기다리고 있습니다. |
| 실행중 | 변환하고 있습니다. |
| 완료 | 변환이 끝나고 출력 데이터셋이 등록되었습니다. |
| 실패 | 오류로 중단되었습니다. 상세 화면에서 오류와 로그를 확인하세요. |
| 취소됨 | 사용자가 취소했습니다. |
프리셋
| 프리셋(화면 이름) | 하는 일 | 기본 설정 |
|---|---|---|
| 월드모델 파인튜닝용 — 결함 판정 클립 → Vision SFT | world-model-vision/v1 클립과 사람 라벨에서 프레임을 뽑아 A/B 판정 형식의 Vision SFT 학습셋으로 변환합니다. 생성 영상은 기본 제외합니다. | 클립당 0.6초 · 1.4초 두 시점, 사람 라벨만 사용 |
| 월드모델 파인튜닝용 — 결함 판정 영상 → Video SFT | 같은 판정 과제를 영상 그대로 학습 데이터로 만듭니다. 특정 시점에 변화가 일어나는 결함을 다룰 때 씁니다. | 사람 라벨만 사용, 생성 영상 제외 |
| SAR → Vision SFT | SAR 위성 이미지와 LabelMe 어노테이션을 Vision LLM 파인튜닝용 SFT 데이터셋으로 변환합니다. | 출력 형식 sharegpt |
| 포맷 변환 | 파일 형식을 변환합니다(CSV ↔ JSON ↔ Parquet ↔ JSONL). | 대상 형식 parquet |
| 컬럼 매핑 | 컬럼 이름 변경, 선택, 필터링을 수행합니다. | 변경 없음(전체 컬럼) |
| 커스텀 스크립트 | 직접 작성한 Python 스크립트로 변환합니다. | — |
참고 커스텀 스크립트가 아닌 프리셋은 위 기본 설정으로 실행됩니다. 설정을 바꿔야 하면 커스텀 스크립트를 사용하세요.
프리셋으로 전처리하기
1단계: 작업 창 열기
오른쪽 위 전처리 시작을 누르세요. 전처리 작업 생성 창이 열립니다.
2단계: 소스 데이터셋과 버전 선택
소스 데이터셋에서 데이터셋을 검색해 고르고, 오른쪽에서 버전을 고르세요(필수). 버전 옆에 파일 수와 용량이 보입니다.
3단계: 프리셋 선택
프리셋에서 변환 방식을 고르세요.
4단계: 출력 설정
데이터셋을 고르면 출력 설정이 나타납니다.
| 항목 | 설명 | 규칙 |
|---|---|---|
| 출력 데이터셋 이름 (한글 가능) | 결과 데이터셋 이름 | 기본값 <소스 슬러그>-<프리셋> |
| 출력 슬러그 (영문, kebab-case) | 결과 데이터셋 슬러그 | 비워 두면 자동 |
| 공개 범위 | 비공개 · 그룹 · 공개. 그룹이면 공개할 프로젝트를 고릅니다. | 기본 비공개 |
5단계: 실행
🚀 실행을 누르세요. 목록에 작업이 추가되고 상태가 대기중 → 실행중 → 완료로 바뀝니다.
커스텀 스크립트로 전처리하기
1단계: 커스텀 스크립트 선택
전처리 시작에서 소스 데이터셋 · 버전을 고르고 프리셋을 커스텀 스크립트로 고르세요.
2단계: 스크립트 작성
커스텀 Python 스크립트(필수)를 작성하세요. 스크립트는 비밀값이 없는 격리된 환경에서 실행됩니다.
| 항목 | 설명 |
|---|---|
| 입력 | 소스 데이터셋 버전의 파일이 입력 폴더(환경 변수 INPUT_DIR)에 자동으로 내려받아집니다. |
| 출력 | 출력 폴더(OUTPUT_DIR)에 쓴 파일이 출력 데이터셋으로 자동 업로드됩니다. |
| 설정 | CONFIG (JSON) 값이 환경 변수 CONFIG_JSON 으로 전달됩니다. |
| 추가 데이터셋 | 스크립트 안에서 실행한 사용자 권한의 토큰으로 데이터셋 API 를 호출해 받습니다(CONFIG 에 데이터셋 id · version 을 적어 두고 사용). |
| 결과 보고 | print('###RESULT_JSON###' + json.dumps({...}) + '###RESULT_JSON###') 형식으로 출력하면 작업 상세 화면의 변환 결과에 표시됩니다. |
| 기본 라이브러리 | pandas, pyarrow, Pillow |
3단계: GPU · CONFIG 지정
| 항목 | 설명 |
|---|---|
| GPU | 고르면 GPU 1장을 받아 PyTorch(CUDA 12.8) 이미지에서 실행되므로 스크립트에서 torch.cuda 를 바로 쓸 수 있습니다. |
| CONFIG (JSON) | 스크립트 설정을 JSON 으로 적습니다. sample_rows 를 지정하면 처음 N행만 처리합니다(검증용). |
4단계: 정적 검증
🔍 정적 검증을 눌러 문법과 작성 규칙을 확인하세요. 결과로 ✅ 정적 검증 통과 또는 ❌ 정적 검증 실패와 오류 · 경고, 감지된 사용 패턴이 나옵니다.
5단계: Dry-run
🧪 Dry-run 을 눌러 시험 실행하세요. 완료되면 행 수, 컬럼 수, 샘플 모드, 컬럼 목록, 미리보기 3행이 보입니다. 걸리는 시간은 대략 30초1분이며, sample_rows=100 이면 1020초입니다.
6단계: 실행
결과가 맞으면 🚀 실행을 누르세요.
팁 큰 데이터셋은 먼저 CONFIG 에
{"sample_rows": 100}을 넣고 Dry-run 으로 결과 모양을 확인한 다음,sample_rows를 빼고 실행하세요.
화면 구성 — 작업 상세
머리글에 작업 이름, 프리셋, 상태가 보이고, 오른쪽에 새로 고침과 삭제(실행 중이면 취소) 버튼이 있습니다.
| 탭 | 내용 |
|---|---|
| 개요 | 진행 상태, 소스 · 출력 데이터셋, 변환 가이드, 변환 결과, 타임라인, 실행 정보 |
| 로그 | 작업 로그를 실시간으로 보여 줍니다. |
| 모니터링 | 작업이 시작되면 CPU · 메모리 등 리소스 사용량이 표시됩니다. |
| 결과 | 데이터 흐름(소스 → 출력)과 전처리 결과. 작업이 끝나기 전에는 "작업이 완료되면 결과가 표시됩니다"가 보입니다. |
개요 탭
| 항목 | 설명 |
|---|---|
| 진행 상태 | 진행률, 상태, 소요 시간(실행 중이면 예상 남은 시간), 프리셋, 소스 버전. 실패하면 오류 내용이 표시됩니다. |
| 소스 데이터셋 | 이름, 슬러그, 버전, 파일 수, 용량. 이름 옆 링크로 데이터셋 화면을 엽니다. |
| 출력 데이터셋 | 완료 후 자동 등록된 데이터셋과 버전 · 파일 수 · 용량. 실행 중에는 "전처리 완료 후 자동 등록됩니다"가 보입니다. |
| 변환 가이드 | 프리셋의 설명, 용도, 처리 단계 |
| 변환 결과 | 스크립트가 보고한 결과 값 |
| 타임라인 | 생성 · 시작 · 완료 시각, 총 소요 시간 |
| 실행 정보 | 작업 ID, 작성자, GPU 배치 |
| 설정 · 커스텀 스크립트 | CONFIG 값, 스크립트(줄 수 · 크기, 복사, 스크립트 전체 보기) |
출력 데이터셋의 버전
출력 데이터셋은 소스 버전과 같은 버전 이름으로 등록됩니다(예: 소스가 v1.0-labeling 이면 출력도 v1.0-labeling). 같은 출력 데이터셋에 그 버전이 이미 있으면 버전 번호를 올려 등록합니다. 출력 데이터셋은 데이터셋 목록에서 다른 데이터셋과 똑같이 사용할 수 있습니다.
권한
| 작업 | 필요한 권한 |
|---|---|
| 작업 만들기 | 소스 데이터셋 읽기 권한 |
| 출력 데이터셋 등록 | 출력 슬러그의 데이터셋이 이미 있으면 그 데이터셋 쓰기 권한, 없으면 데이터셋 생성 권한 |
| 작업 조회 · 취소 · 삭제 | IGA(권한 관리) 정책으로 판정합니다. 기본적으로 작업을 시작한 사용자가 자신의 작업을 관리합니다. |
문제 해결
| 메시지 | 원인과 조치 |
|---|---|
| 데이터셋 버전을 선택하세요. (slug + version 페어 필수) | 소스 버전을 고르지 않았습니다. 버전을 고르세요. |
| custom preset 은 script 필수. | 커스텀 스크립트 프리셋인데 스크립트가 비어 있습니다. |
| config JSON parse 실패 | CONFIG 가 올바른 JSON 이 아닙니다. 형식을 확인하세요. |
다음 단계
- 출력 데이터셋으로 파인튜닝 · 정렬 또는 사전학습 · 월드모델 학습을 시작하세요.