Data Factory — 수집 진입점

외부 시스템 데이터를 수집해 레이크하우스로 가져오는 화면의 구조와 공통 절차

QUANTUM C&S

Data Factory 는 외부 시스템의 데이터를 AkashiQ로 가져오는 진입점입니다. 수집 작업을 만들어 실행하고, 결과를 데이터셋으로 등록하고, 정기 실행을 파이프라인에 맡기는 흐름을 한 화면에서 처리합니다.

실시간 변경 수집(CDC)과 설비 telemetry는 이 화면이 아니라 스트리밍 경로로 동작합니다. → Pipeline Ops

네 개 탭

[ 데이터 수집 ]  →  [ DataHub 등록 ]  →  [ 파이프라인 실행 ]     [ Spark Job ]
  외부 → 저장소       저장소 → 데이터셋      수집 작업 → Airflow    SparkApplication

탭	역할
데이터 수집	수집 작업을 만들고 즉시 실행합니다. → 소스별 수집 설정
DataHub 등록	적재된 결과를 데이터셋으로 등록합니다. → DataHub 등록
파이프라인 실행	수집 작업을 Airflow DAG으로 실행해 이력과 재시도를 남깁니다.
Spark Job	Spark 작업의 제출 상태와 결과를 확인합니다.

유형	대상
DB 연동	Trino 카탈로그로 연결된 RDB 테이블 · 뷰
API 연동	HTTP API 응답, Jira 이슈, Confluence 페이지
RSS 수집	RSS · Atom 피드
직접 등록	이미 저장소에 있는 객체를 수동 등록

문서관리시스템(EDMS)은 전용 커넥터로 동기화합니다. → EDMS 연동

각 작업의 실행 이력에서 시작 · 종료 시각, 적재 행 수, 결과 파일 경로, 오류 메시지를 확인합니다.

수집 결과는 다음 규칙으로 저장됩니다.

s3://<staging 버킷>/
  └── <소스 유형>/          # database, rss, atlassian-jira 등
      └── <작업 ID>/
          └── <실행 ID>.jsonl   # 또는 .csv

출력 포맷은 작업 생성 시 JSONL 또는 CSV로 선택합니다.

⚠️ 주의

staging 영역의 객체는 데이터셋으로 등록되기 전까지 운영 정책에 따라 정리될 수 있습니다. 계속 사용할 결과는 반드시 데이터셋으로 등록하세요.

수집 작업의 정의는 Data Factory가 그대로 소유하고, Airflow는 실행을 트리거하는 도구로 사용합니다. 그래서 화면에서 만든 작업을 다시 만들지 않고도 이력 · 재시도 · 로그를 Airflow 표준으로 관리할 수 있습니다.

파이프라인 운영 기능의 전체 범위는 Pipeline Ops에서 설명합니다.

Spark 작업의 제출 · 실행 상태를 요약합니다.

대량 가공, 재구축, 학습 데이터 생성처럼 배치 수집으로 처리하기 어려운 작업이 여기에서 실행됩니다.

← Data Catalogs — 카탈로그 탐색

소스별 수집 설정 →