본문 바로가기
문서 목차
KosmosAI v1.0.2운영·관리

Observability

플랫폼 서비스가 건강한지(상태·지표), 누가 무엇을 했는지(감사 로그), 서비스끼리 어떻게 연결되어 있는지(의존성), 로그·트레이스·지표가 어디로 흘러가는지(관측 흐름)를 한 화면에서 보는 운영 화면입니다.

QUANTUM C&S

플랫폼 서비스가 건강한지(상태 · 지표), 누가 무엇을 했는지(감사 로그), 서비스끼리 어떻게 연결되어 있는지(의존성), 로그 · 트레이스 · 지표가 어디로 흘러가는지(관측 흐름)를 한 화면에서 보는 운영 화면입니다.

이런 일을 할 수 있어요

  • 핵심 API 서비스의 상태와 응답 시간 확인
  • 요청량 · 지연(P95) · 오류율 같은 실시간 API 지표와 SAMANDA 도구 호출 지표 보기
  • Jaeger(분산 추적) · Grafana(지표 대시보드) · Kibana(로그)로 바로 이동
  • 최근 오류 로그와 최근 감사 기록 훑어보기
  • 감사 로그 를 사용자 · 서비스 · 액션 · 결과 · 기간으로 검색하고 한 건씩 자세히 보기
  • 의존성 맵 으로 서비스 → 백오피스(데이터베이스 · 메시지 큐 등) → 시스템 구성요소 관계 보기
  • 옵저버빌리티 흐름 으로 로그 · 트레이스 · 지표 수집 경로를 그림으로 보기

화면 구성

화면 위쪽에 탭 4개가 있고, 오른쪽 위 새로고침 으로 현재 탭 데이터를 다시 불러옵니다.

탭 내용 볼 수 있는 사람
Overview 서비스 상태, 실시간 지표, 외부 도구 링크, 최근 오류 · 감사 운영 관리자
Audit Logs 전체 감사 기록 검색 운영 관리자, 감사 열람 권한이 있는 사람(보안관리자 포함)
의존성 맵 서비스 의존 관계 그래프 운영 관리자
옵저버빌리티 흐름 신호(로그 · 트레이스 · 지표) 수집 경로 그림 운영 관리자

Overview

Observability Overview — 서비스 상태와 실시간 API 지표

  1. 서비스 상태 — Portal API · Storage API · Models API · Inference API 등 핵심 서비스마다 정상/오류 배지와 응답 시간을 보여 줍니다. 오른쪽 위에 "4/4 정상" 처럼 정상인 서비스 수가 나옵니다.
  2. 실시간 API 메트릭 — 최근 5분 기준 Total Request Rate(초당 요청 수), P95 Latency(느린 쪽 5% 를 뺀 응답 시간), Error Rate (4xx|5xx)(오류 비율) 그래프입니다. Grafana에서 보기 로 원본 대시보드를 엽니다.
  3. MCP Agent — Rate Limiting & Caching — SAMANDA 가 쓰는 도구별 호출 수, 캐시 적중률, 호출 제한으로 거절된 수입니다.
  4. Jaeger / Grafana / Kibana 카드 — 각 도구를 새 탭으로 엽니다. Kibana 카드에는 최근 1시간 오류 건수가 함께 보입니다.
  5. 최근 에러 로그 — 최근 오류가 있으면 서비스 · 시각 · 메시지가 나열됩니다. 전체 보기 는 Kibana 로 갑니다.
  6. 최근 감사 로그 — 최근 몇 건과 "오늘 총 N건 · 실패 N건". 전체 보기 를 누르면 Audit Logs 탭으로 넘어갑니다.

Audit Logs

감사 로그 — 검색·필터와 기록 목록

플랫폼의 모든 서비스가 남긴 감사 기록(누가 · 언제 · 무엇을 · 결과)을 한곳에서 찾습니다.

  • 검색 — "사용자, 리소스 검색..." 칸에 이름 · 이메일 · 리소스 이름을 넣습니다.
  • 필터 — 모든 서비스(감사에 실제로 나오는 서비스 목록), 모든 액션(생성 · 조회 · 수정 · 삭제 · 로그인 · 로그아웃 · 로그인 실패), 모든 결과(성공 · 실패 · 거부 · 오류), 시작 · 끝 날짜. 날짜 옆 버튼으로 날짜 필터를 지웁니다.
  • 목록 — 한 줄에 "사람 - 동작(대상)", 서비스 배지, 결과 배지, 접속 IP, 시각이 보입니다. 사람 대신 시스템이 한 일은 서비스 칩, 자동화 플로우가 사람 권한으로 한 일은 자동화, 잡이 사람 권한을 위임받아 한 일은 위임 칩이 붙습니다.
  • 상세 — 줄을 누르면 감사 로그 상세 창이 열립니다. ID, Trace ID, 시간, 서비스, 액션, 결과, 액터, User Agent, 리소스 타입 · ID · 이름, 사유, 상세 정보가 나오고, 위임 실행이면 "자동화 플로우 '이름' N단계에서 위임 실행" 처럼 어떤 맥락에서 실행됐는지 알려 줍니다. 권한 판정이 함께 기록된 경우 권한 판정 N건 도 보입니다. Esc 로 닫습니다.
  • 아래쪽에서 페이지당 건수와 페이지를 고릅니다("총 N건").

참고 감사 기록은 항상 사람에게 귀속 됩니다. 노트북 · 자동화 플로우 · 학습 잡이 내 토큰으로 API 를 불러도, 기록에는 "내 이름 + 위임" 으로 남습니다. 자세한 원리는 IGA(권한 관리)를 보세요.

팁 어떤 사람이 무엇을 했는지만 보려면 사용자 관리의 사용자 상세 → 활동 탭이 더 빠릅니다(최근 50건).

의존성 맵

의존성 맵 — 서비스·백오피스·시스템 의존 관계

왼쪽부터 포털(사용자 진입점) → API 서비스 → 백오피스(데이터베이스 · 캐시 · 메시지 큐 · 검색 엔진 · 인증 서버 등) → 시스템(스토리지 드라이버 · 클러스터 구성요소 등) 순서로 노드가 놓입니다. 위쪽에 등록된 관계 수와 DB 저장됨 상태가 보입니다.

  • 노드를 누르면 그 노드와 관련된 관계만 강조됩니다. 다시 누르면 해제됩니다.
    • 포털 노드: 모든 API 연결 강조
    • API 노드: 그 서비스가 의존하는 것(직접 + 간접) 강조, 오른쪽 패널에 의존성 목록 표시
    • 백오피스 · 시스템 노드: 그것을 쓰는 모든 서비스 강조
  • 백오피스 카드 안의 작은 배지는 그 백오피스가 내부에서 쓰는 구성요소(예: 볼륨 스토리지)입니다.
  • 오른쪽 아래 + / − 와 맞춤 버튼으로 확대 · 축소합니다.
  • 운영 관리자는 API 를 고른 뒤 오른쪽 패널에서 의존성을 추가 · 삭제할 수 있고, DB 와 동기화 로 저장된 관계를 다시 맞춥니다.

참고 이 의존 관계는 SAMANDA 가 장애 원인을 추적할 때도 그대로 씁니다. 여기서 고치면 SAMANDA Ops 분석에 바로 반영됩니다.

옵저버빌리티 흐름

옵저버빌리티 흐름 — 로그·트레이스·지표 수집 경로

로그(보라) · 트레이스(초록) · 지표(노랑 · 주황) · 시각화(분홍) 네 가지 선으로, 각 신호가 어디서 생겨 어디에 저장되고 어떤 화면으로 보이는지 그린 그림입니다.

  • 로그: 노드마다 하나씩 도는 수집기(OTel Agent)가 모든 파드 표준 출력과 호스트 로그를 읽어 OpenSearch 에 넣고, Kibana 로 봅니다.
  • 트레이스: 각 API 가 중앙 수집기(OTel Collector)로 보내고, Jaeger 에 저장 · 표시됩니다.
  • 지표: 플랫폼 API 는 중앙 수집기를 거쳐, 인프라 구성요소는 Prometheus 가 직접 가져가며, Grafana 로 봅니다.
  • 노드는 끌어서 옮길 수 있고 위치는 브라우저에 저장됩니다. 기본 레이아웃 으로 되돌리고, 전체화면 으로 크게 봅니다(Esc 로 종료).
  • 아래 운영 안전망 을 펼치면 신호별 경로 설명과 "메트릭은 보이는데 로그가 끊김 → OTel Agent 의심" 같은 장애 구분 요령이 나옵니다.

따라 하기: 특정 사용자의 실패한 작업 찾기

1단계: 감사 로그 열기

Observability 메뉴에서 Audit Logs 탭을 여세요.

2단계: 사용자 검색

검색 칸에 사용자 이름이나 이메일을 넣으세요.

3단계: 결과 거르기

모든 결과 를 거부 또는 실패 로 바꾸세요.

4단계: 기간 지정

필요하면 날짜 범위를 지정하세요.

5단계: 사유 확인

줄을 눌러 상세를 열고 사유 를 확인하세요. 권한 때문에 거부된 경우 어떤 권한이 없었는지 적혀 있습니다.

팁 권한 거부만 따로 보고 싶으면 IGA(권한 관리)의 인가 기록 탭에서 거부만 을 켜는 것이 더 정확합니다. 거기에는 판정 하나하나가 리소스(KRN) · 사유와 함께 남습니다.

권한

  • 메뉴는 운영 권한(platform:operation Operate) 또는 감사 열람 권한(auth:audit Read)이 있으면 보입니다.
  • 보안관리자처럼 감사 열람 권한만 있으면 Audit Logs 탭만 보입니다.
  • 의존성 맵 편집은 운영 관리자만 할 수 있습니다. 다른 사람에게는 보기 전용입니다.

알아두면 좋은 점

  • 지표 그래프는 Grafana 대시보드를 화면에 넣어 보여 주는 것이라, Grafana 쪽에 데이터가 없으면 "No data" 로 보입니다.
  • 감사 로그 보관 기간과 기록 대상(인증 · 관리자 작업 · 데이터 변경 · 읽기)은 IGA(권한 관리)의 감사 설정 탭에서 정합니다.
  • 추적 · 지표 · 로그 시스템의 연결 주소는 플랫폼 설정의 Observability 탭에서 설정합니다.

관련 항목