DataHub 등록 — 수집 결과를 데이터셋으로

수집이 끝나면 결과 파일이 staging 저장소에 남습니다. 이 상태로는 검색되지 않으므로, 데이터셋으로 등록해 카탈로그에 노출합니다.

위치는 Data Factory → DataHub 등록 탭입니다.

후보 목록의 기준

이 탭에 나타나는 항목은 다음 조건을 모두 만족합니다.

1. 수집 작업이 성공적으로 끝났고
2. 결과 파일이 staging 저장소에 존재하며
3. 같은 경로가 아직 데이터셋으로 등록되지 않았습니다

같은 객체가 두 번 등록되지 않도록 시스템이 자동으로 걸러냅니다.

요약 지표

지표	의미
등록 완료	이미 데이터셋으로 등록된 수집 결과
등록 대기	등록 가능하지만 아직 등록하지 않은 객체
전체 객체	staging에 있는 객체 수

등록 절차

1. 후보 항목의 상세를 엽니다.
2. 시스템이 자동으로 채운 값을 확인합니다.
   • 이름 (작업 이름 기준)
   • 포맷 (JSONL · CSV)
   • 컬럼 목록 (파일 앞부분 분석 결과)
   • 저장 경로, 행 수, 크기
   • 기본 보안 등급
3. 이름 · 설명 · 태그 · 소유팀을 보강합니다.
4. 등록하면 ingested 유형 데이터셋이 생성됩니다.

등록 후에는 Data Hub에서 검색되고, 상세 화면에서 파일 앞부분을 바로 프리뷰할 수 있습니다.

일괄 등록

여러 후보를 한 번에 등록할 수 있습니다. 공통 값(보안 등급, 소유팀, 태그)을 한 번 입력하고 이름은 각 작업의 기본값을 사용합니다. 일괄 등록에서도 중복 경로는 제외됩니다.

ingested 데이터셋의 특징

• 저장 위치가 테이블 경로가 아니라 객체 경로입니다.
• 상세 화면에서 파일 직접 프리뷰를 지원합니다.
• 같은 데이터를 Iceberg 테이블로 변환한 뒤에는 direct 유형으로 별도 등록할 수 있습니다.

자주 묻는 질문

등록을 되돌리려면? 데이터셋을 삭제하면 됩니다. 저장소의 객체는 남아 있어 다시 후보 목록에 나타납니다.

같은 작업을 다시 실행하면? 새 실행 ID로 새 파일이 생기고, 그 파일도 새 후보로 표시됩니다. 기존 데이터셋과는 별개입니다. 누적 이력을 하나의 테이블로 관리하려면 Iceberg 테이블로 적재하는 파이프라인을 구성하세요.

직접 업로드한 객체도 등록할 수 있나요? 가능합니다. 데이터셋 등록에서 수집 데이터셋 유형을 선택해 경로를 입력하세요.

자주 발생하는 오류

상황	원인	조치
이름 중복	같은 이름의 데이터셋 존재	이름 변경
객체를 읽을 수 없음	권한 또는 네트워크 문제	운영 담당자에게 staging 권한 확인 요청
컬럼 추정 실패	파일 형식 문제	정상 JSONL · CSV인지 확인
권한 부족	등록 권한 없음	데이터 큐레이터 권한 요청