문서 목차
데이터 레이크
플랫폼에 연결된 데이터 원천을 Trino SQL 로 조회하고, 조회 결과를 데이터셋으로 저장합니다.
QUANTUM C&S
플랫폼에 연결된 데이터 원천을 Trino SQL 로 조회하고, 조회 결과를 데이터셋으로 저장합니다.
메뉴 데이터셋 > 데이터 레이크(/datasets/lake)에서 엽니다. Trino 는 여러 데이터 원천(데이터베이스, Iceberg · Hive 테이블 등)을 하나의 SQL 로 조회하게 해 주는 분산 SQL 엔진입니다.
주요 기능
| 기능 | 설명 |
|---|---|
| 카탈로그 탐색 | 카탈로그 → 스키마 → 테이블 순서로 탐색하고 컬럼 정보를 확인합니다. |
| SQL 조회 | 편집기에서 SELECT 쿼리를 실행하고 결과를 표로 봅니다. 여러 쿼리를 탭으로 나눠 작업합니다. |
| 저장된 쿼리 | 자주 쓰는 쿼리를 저장하고 다시 불러옵니다. |
| 데이터셋으로 저장 | 쿼리 결과를 새 데이터셋으로, 또는 원래 데이터셋의 새 버전으로 저장합니다. |
| 관리자 기능 | 스키마 · 테이블 생성, 테이블 삭제, Hive 테이블의 Iceberg 복제 · 변환, Iceberg 스냅샷 조회 · 롤백 |
이용 조건 — 메뉴가 보이지 않을 때
데이터 레이크 메뉴는 플랫폼에 Trino 가 연결되어 있고 응답할 때만 보입니다. 권한과는 별개인 기능 가용성 조건입니다.
| 상황 | 화면 동작 |
|---|---|
| Trino 가 설치되지 않았거나 꺼져 있음 | 메뉴가 자동으로 숨겨집니다. |
| 사용 중 연결이 끊김 | "데이터레이크(Trino)에 연결할 수 없습니다 — 운영관리자에게 문의하세요" 메시지가 나오고, 이후 메뉴가 숨겨질 수 있습니다. |
| 환경에서 기능이 꺼져 있음 | "이 환경에서는 데이터레이크(Trino)가 비활성화되어 있습니다 — 운영관리자에게 문의하세요" |
참고 위 메시지가 보이면 운영 관리자에게 데이터 레이크 연결 상태 확인을 요청하세요.
화면 구성
| 영역 | 설명 |
|---|---|
| 머리글 | 저장된 쿼리, 쿼리 저장 버튼 |
| 카탈로그 트리(왼쪽 위) | 내가 조회할 수 있는 카탈로그 목록. 펼치면 스키마와 테이블이 나옵니다. 새로 고침 버튼으로 다시 읽습니다. |
| 컬럼 정보(왼쪽 아래) | 테이블을 고르면 컬럼 이름 · 타입과 컬럼 수가 표시됩니다. 컬럼 이름을 누르면 편집기에 삽입됩니다. 트리와의 경계는 끌어서 크기를 바꿉니다. |
| 쿼리 탭(오른쪽 위) | 쿼리마다 탭이 생기고 + 로 새 탭을 엽니다. 탭 위쪽에 현재 카탈로그 · 스키마가 표시됩니다. |
| SQL 편집기 | 실행 버튼 또는 Ctrl+Enter 로 실행합니다. |
| 결과(오른쪽 아래) | 행 수와 실행 시간, 결과 표(쪽당 50행), 데이터셋으로 저장 버튼. 오류가 나면 쿼리 오류와 원인이 표시됩니다. |
테이블 조회하기
1단계: 테이블 찾기
카탈로그 트리에서 카탈로그와 스키마를 펼치세요.
2단계: 테이블 선택
테이블을 누르세요. 편집기에 SELECT * FROM "카탈로그"."스키마"."테이블" LIMIT 100 이 채워지고, 왼쪽 아래에 컬럼 정보가 나타납니다.
3단계: 실행
필요하면 SQL 을 고친 뒤 실행(또는 Ctrl+Enter)을 누르세요. 결과 표에서 쪽을 넘겨 가며 확인합니다.
테이블 메뉴
테이블 · 스키마 · 카탈로그 옆의 더보기(⋮) 버튼을 누르거나 마우스 오른쪽 버튼을 누르면 메뉴가 열립니다.
| 메뉴 | 설명 |
|---|---|
| SELECT 쿼리 생성 | 조회 SQL 을 편집기에 채웁니다. |
| 미리보기 | 테이블의 일부 행을 바로 봅니다. |
| 테이블명 복사 | 전체 테이블 이름을 복사합니다. |
| CREATE TABLE 보기 | 테이블 정의(DDL)를 보여 줍니다. |
| 스냅샷 보기 | (Iceberg 테이블) 스냅샷 기록과 Time Travel |
| Iceberg로 복제 · Iceberg로 변환 | (Hive 테이블, 관리자) 아래 "관리자 기능" 참고 |
| DROP TABLE | (관리자) 테이블 삭제 |
조회 규칙과 한도
| 항목 | 규칙 |
|---|---|
| 쿼리 종류 | 일반 사용자는 SELECT 문만 실행할 수 있습니다. INSERT, UPDATE, DELETE, DROP, CREATE, ALTER, TRUNCATE, GRANT, REVOKE, MERGE 가 들어간 쿼리는 거부됩니다. |
| SQL 길이 | 최대 10,000자 |
| 결과 행 수 | 한 번에 가져오는 행 수에 상한이 있습니다(기본 10,000행). |
| 테이블 권한 | 쿼리에 쓴 테이블마다 IGA 로 읽기 권한을 확인합니다. 권한이 없는 테이블이 하나라도 있으면 쿼리 전체가 거부됩니다. |
| 카탈로그 표시 | 읽을 수 있는 테이블이 하나 이상 있는 카탈로그만 보입니다. |
쿼리 저장하고 불러오기
1단계: 저장
편집기에 쿼리를 작성한 뒤 쿼리 저장을 누르고, 이름(필수)과 설명을 입력해 저장을 누르세요. "쿼리가 저장되었습니다" 알림이 뜹니다.
2단계: 불러오기
저장된 쿼리를 누르면 오른쪽 패널에 내가 저장한 쿼리 목록이 나옵니다. 쿼리를 누르면 편집기로 불러오고, 필요 없으면 삭제하세요.
쿼리 결과를 데이터셋으로 저장하기
1단계: 쿼리 실행
쿼리를 실행해 결과를 확인하세요.
2단계: 저장 창 열기
결과 영역의 데이터셋으로 저장을 누르세요. 화면이 잠시 소스 데이터셋 감지 중... 을 표시합니다.
3단계: 저장 방식 선택
쿼리한 테이블이 어떤 데이터셋에서 등록된 Iceberg 테이블이면 "○○ 테이블이 ○○ 데이터셋에서 임포트된 것으로 감지되었습니다." 안내와 함께 두 가지 선택지가 나옵니다.
| 방식 | 입력 항목 | 버튼 |
|---|---|---|
| 새 버전 추가 | 버전(필수, 다음 버전이 제안됨), 버전 설명 | 버전 추가 |
| 새 데이터셋 생성 | 데이터셋 이름(필수), 설명, 태그, 라이선스, 공개 범위(비공개 · 그룹 · 공개) | 등록 |
감지된 데이터셋이 없으면 새 데이터셋 생성 항목만 나옵니다.
4단계: 확인
결과는 Parquet 파일(data.parquet) 한 개로 데이터셋 버전에 저장됩니다. 데이터셋 목록에서 확인하세요.
참고 원래 데이터셋에 새 버전을 추가하려면 그 데이터셋에 쓰기 권한이 있어야 합니다. 데이터셋으로 저장할 때는 관리자도 SELECT 쿼리만 사용할 수 있습니다.
데이터셋 파일을 테이블로 만들기
데이터셋 상세 화면의 버전 & 파일 탭에서 Parquet 파일(또는 Parquet 파일이 든 폴더) 옆 눈송이 버튼을 누르면 Iceberg 테이블로 등록됩니다. 등록이 끝나면 이 화면으로 이동하고 조회 SQL 이 채워져 있습니다. Iceberg 테이블은 UPDATE · DELETE 와 Time Travel(과거 시점 조회)을 지원합니다.
관리자 기능
다음 기능은 데이터셋 관리자 권한(IGA 의 데이터셋 Admin 권한)이 있는 사용자만 쓸 수 있습니다. 관리자는 편집기에서 DDL · DML 쿼리도 실행할 수 있습니다.
| 기능 | 위치 | 설명 |
|---|---|---|
| 스키마 생성 | 카탈로그 메뉴 | 스키마 이름(영문 · 숫자 · 밑줄만)과 S3 위치를 입력합니다. 버킷은 미리 만들어져 있어야 합니다. |
| 테이블 생성 | 스키마 메뉴 | 테이블 이름을 넣으면 DDL 이 SQL 미리보기에 만들어집니다. 에디터에서 열기로 편집기에 옮겨 고친 뒤 실행합니다. |
| DROP TABLE | 테이블 메뉴 | 확인 칸에 delete 를 입력해야 삭제됩니다. 외부 테이블은 저장소의 데이터 파일을 지우지 않습니다. |
| Iceberg로 복제 | Hive 테이블 메뉴 | 데이터를 복사해 새 Iceberg 테이블(대상 테이블)을 만듭니다. |
| Iceberg로 변환 | Hive 테이블 메뉴 | 데이터는 복사하지 않고 메타데이터만 추가해 빠르게 변환합니다. 기존 Hive 테이블이 Iceberg 테이블로 대체되며, 변환 중에는 테이블에 접근할 수 없습니다. |
| 스냅샷 보기 | Iceberg 테이블 메뉴 | 스냅샷 기록에서 이 시점 데이터 보기, 이 시점으로 롤백을 합니다. 조회 예: SELECT * FROM table FOR VERSION AS OF snapshot_id |
주의 관리자라도 IGA 에서 명시적으로 거부(Deny)된 테이블은 조회할 수 없습니다.
AkashiQ 와의 관계
AkashiQ 는 외부 데이터 통합 플랫폼입니다. AkashiQ 의 데이터 자산은 두 가지 방법으로 씁니다.
| 방법 | 설명 |
|---|---|
| 데이터셋으로 가져오기 | 데이터셋 목록의 외부 데이터셋 가져오기 > AkashiQ Sync 에서 AkashiQ 의 Iceberg 뷰 · 테이블을 검색해 등록하면 Parquet 으로 추출되어 데이터셋 버전에 저장됩니다. 버전이 고정되어 학습 재현에 유리합니다. |
| 데이터 레이크에서 직접 조회 | 환경에 따라 AkashiQ 쪽 원천이 카탈로그로 연결되어 있으면 이 화면에서 바로 SQL 로 조회합니다. 어떤 카탈로그가 보이는지는 환경 구성과 권한에 따라 다릅니다. |
권한
| 작업 | 필요한 권한 |
|---|---|
| 카탈로그 · 테이블 보기, SELECT 실행 | 해당 테이블 읽기 권한 |
| 쿼리 저장 | 로그인 사용자(저장한 쿼리는 내 목록에 보임) |
| 결과를 새 데이터셋으로 저장 | 데이터셋 생성 권한 |
| 결과를 기존 데이터셋 새 버전으로 저장 | 그 데이터셋 쓰기 권한 |
| DDL · DML, 스키마 · 테이블 관리, Iceberg 복제 · 변환 · 롤백 | 데이터셋 관리자 권한 |