문서 목차
AkashiQ v0.1.0 · 플랫폼
Storage — 스토리지 상태
Ceph 오브젝트 스토리지의 용량, OSD, IOPS와 버킷 사용 현황을 확인합니다
QUANTUM C&S
Storage 는 레이크하우스의 파일이 실제로 저장되는 Ceph 오브젝트 스토리지(S3 호환) 의 상태를 보는 화면입니다. 데이터가 쌓이는 기반이 정상인지 판단합니다.
클러스터 상태
화면 상단에 클러스터 건강도 배지와 요약 지표가 표시됩니다.
| 지표 | 의미 |
|---|---|
| 건강도 | HEALTH_OK · HEALTH_WARN · HEALTH_ERR |
| Total Capacity | 전체 용량과 남은 용량 |
| Used | 사용량과 사용률 |
| OSD Status | 정상 디스크 수 / 전체. 비정상이 있으면 경고로 표시됩니다. |
| IOPS | 초당 읽기 · 쓰기 |
HEALTH_WARN 이상이 보이면 운영 담당자에게 알리세요. 용량이 임계에 가까워지면 적재 실패로 이어지기 전에 확장이 필요합니다.
버킷
| 항목 | 의미 |
|---|---|
| 이름 | 버킷 이름 |
| 객체 수 | 저장된 객체 개수 |
| 사용량 | 용량 |
| 갱신 | 마지막 변경 시각 |
주요 버킷 용도
| 구분 | 용도 |
|---|---|
| staging | 수집 결과가 처음 떨어지는 영역 |
| 레이크하우스 | Iceberg 테이블 데이터 파일 |
| 백업 | 메타데이터 · 카탈로그 백업 |
시스템 버킷은 공통 접두사 규칙을 사용합니다.
staging 영역의 수명
staging 객체는 데이터셋으로 등록되기 전까지 운영 정책에 따라 정리될 수 있습니다. 계속 사용할 결과는 반드시 데이터셋으로 등록하세요.
스토리지와 컴퓨트의 분리
AkashiQ는 저장과 연산을 분리합니다.
- 데이터는 오브젝트 스토리지에 한 번만 저장됩니다.
- 여러 컴퓨트(쿼리 엔진, Spark)가 같은 데이터를 공유해 읽습니다.
- 연산 자원을 늘려도 데이터를 복제하지 않습니다.
그래서 쿼리 부하가 늘어날 때 워크하우스만 조정하면 됩니다. → Compute
자주 하는 동작
| 하고 싶은 것 | 위치 |
|---|---|
| 수집 결과 파일 경로 확인 | DataHub 등록 |
| 데이터셋의 저장 위치 확인 | 데이터셋 상세 |
| 테이블의 실제 파일 목록 확인 | Data Catalogs의 파일 정보 |
| 전체 플랫폼 상태 확인 | Overview |
알아두면 좋은 점
- Ceph가 S3 API를 제공하므로, 권한이 있는 사용자는 표준 S3 클라이언트로도 같은 객체에 접근할 수 있습니다. 엔드포인트는 운영 담당자에게 확인하세요.
- 작은 파일이 과도하게 많으면 쿼리 성능이 떨어집니다. Iceberg 테이블의 파일 분포는 카탈로그 화면에서 확인할 수 있습니다.