문서 목차
AkashiQ v0.1.0 · 데이터
Data Catalogs — 카탈로그 탐색
카탈로그 · 스키마 · 테이블 트리를 탐색하고 컬럼, 프리뷰, 파일 메타데이터를 확인합니다
QUANTUM C&S
Data Catalogs 는 AkashiQ가 연결한 모든 데이터 소스를 카탈로그 트리로 탐색하는 화면입니다. Data Hub가 큐레이션된 데이터셋 목록이라면, 이 화면은 원본에 가까운 창고입니다.
3단계 계층
catalog
└─ schema
└─ table
└─ columns · files
화면에서는 catalog.schema.table 형식으로 표기합니다.
카탈로그
데이터 소스 단위입니다. 어떤 카탈로그가 있는지는 설치 환경에 따라 다릅니다.
| 카탈로그 예 | 설명 |
|---|---|
iceberg |
레이크하우스 메인 카탈로그. 수집 · 정제 결과가 여기에 쌓입니다. |
| RDB 카탈로그 | 연결된 원천 DB. 배치 수집이 이 카탈로그를 경유합니다. |
카탈로그 추가 · 삭제는 플랫폼 관리자가 수행합니다.
스키마
카탈로그 안의 논리 그룹입니다. 레이크하우스 카탈로그에서는 보통 도메인이나 메달리온 계층 단위로 나뉩니다.
스키마를 선택하면 테이블 목록이 표시됩니다.
테이블
테이블을 선택하면 상세가 열립니다.
컬럼
| 항목 | 의미 |
|---|---|
| 순서 | 컬럼 위치 |
| 이름 | 컬럼명 |
| 타입 | 데이터 타입 |
| NULL 허용 | NULL 가능 여부 |
| 주석 | 컬럼 설명 |
컬럼이 많은 테이블은 검색으로 좁힐 수 있습니다.
프리뷰
상위 행을 조회해 표시합니다. 내부적으로 다음 형태의 쿼리를 실행합니다.
SELECT * FROM <catalog>.<schema>.<table> LIMIT 100
⚠️ 주의
프리뷰는 앞부분 표본이며 정렬 · 필터가 적용되지 않습니다. 데이터 분포 확인이나 집계는 Compute에서 SQL로 실행하세요.
파일 (Iceberg 테이블)
Iceberg 테이블은 실제 파일 메타데이터를 함께 조회할 수 있습니다.
| 항목 | 의미 |
|---|---|
| 파일 경로 | 오브젝트 스토리지 경로 |
| 행 수 | 파일당 레코드 수 |
| 파일 크기 | 바이트 |
| 파티션 | 파티션 키 값 |
작은 파일이 과도하게 많은지, 파티션이 고르게 분포하는지 확인할 때 사용합니다. 저장 최적화와 쿼리 성능 진단의 출발점입니다.
권한과 가시성
프리뷰와 목록은 세 가지를 함께 확인합니다.
- 카탈로그 · 테이블 접근 권한
- 보안 등급에 따른 접근 정책
- 컬럼 마스킹 규칙
권한이 없는 컬럼은 마스킹된 값으로 표시되고, 접근이 거부된 시도는 감사 로그에 기록됩니다.
자주 하는 동작
| 하고 싶은 것 | 방법 |
|---|---|
| 특정 주제의 테이블 찾기 | 검색창에 키워드 입력 |
| 컬럼 구조 확인 | 테이블 선택 → 컬럼 |
| 데이터 미리 보기 | 테이블 선택 → 프리뷰 |
| 데이터셋으로 등록 | 데이터셋 등록에서 직접 등록 선택 |
| SQL로 분석 | Compute |
자주 발생하는 오류
| 상황 | 원인 | 조치 |
|---|---|---|
| 접근 거부 | 권한 부족 | 거버넌스 담당자에게 권한 요청 |
| 카탈로그에 연결할 수 없음 | 원천 DB 연결 오류 | 운영 담당자에게 카탈로그 상태 확인 요청 |
| 프리뷰 시간 초과 | 대상 테이블이 매우 큼 | 다시 시도하거나 Compute에서 조건을 넣어 조회 |