CSV(시스템 검증) 대응

규제 산업에서는 시스템을 도입하는 것만으로 사용할 수 없고, 검증(Computer System Validation) 을 거쳐야 합니다. AkashiQ는 검증 과정에서 필요한 증거를 시스템이 스스로 만들어 제공하도록 설계했습니다.

ℹ️ 참고

여기서 CSV는 쉼표로 구분된 파일 형식이 아니라 Computer System Validation(컴퓨터 시스템 검증) 을 뜻합니다.

무엇이 검증 대상인가

데이터 플랫폼에서 검증이 요구하는 질문은 대체로 다음과 같습니다.

질문	AkashiQ의 대응
원천 데이터가 정확하게 적재됐는가	적재 정합성 자동 검증
누가 무엇을 언제 했는가	감사 로그
데이터가 임의로 변경되지 않았는가	이력 테이블(SCD2) · 스냅샷
잘못된 데이터를 되돌릴 수 있는가	데이터 복구
접근 통제가 실제로 동작하는가	접근 정책 · 마스킹
문제를 인지하는 체계가 있는가	데이터 품질 판정과 알림

적재 정합성 자동 검증

가장 핵심적인 요건은 "원천의 데이터가 레이크하우스에 정확히 적재됐음을 증명하는 것" 입니다. 데이터 양이 많아 사람이 대조할 수 없으므로 자동 검증으로 처리합니다.

검증 방식

원천과 레이크의 같은 대상을 비교합니다.

검증 유형	확인 내용
건수 일치	원천과 레이크의 행 수가 같은가
값 일치	주요 컬럼의 값이 같은가
형식 · 범위	타입, 단위, 허용 범위를 지키는가
필수 항목	필수 컬럼에 빈 값이 없는가
중복	키가 중복되지 않는가
참조 정합	참조하는 대상이 실제로 존재하는가

실행과 기록

검증은 파이프라인으로 주기 실행되고, 결과가 판정과 함께 기록됩니다. 실패한 항목은 어떤 규칙에서 어떤 값이 기준과 달랐는지 남습니다.

이 기록이 검증 문서의 근거 자료가 됩니다. 검증 시점에 사람이 별도로 표본을 뽑아 대조하는 작업을 대체하거나 크게 줄일 수 있습니다.

데이터 무결성 원칙

AkashiQ의 설계는 다음 원칙을 따릅니다.

원칙	구현
원본 보존	Bronze 계층에 원천 데이터를 그대로 유지
이력 보존	값 변경 시 덮어쓰지 않고 이력 행 추가
추적 가능	데이터셋의 원천 계보를 기록
행위 기록	조회 · 변경 · 복구에 실행자 · 시각 · 사유 기록
되돌리기 가능	스냅샷 롤백과 결정적 재구축

특히 판정을 수집 시점에 하지 않는다는 원칙이 중요합니다. 등록되지 않은 설비의 데이터도 일단 원본으로 적재하고, 기준 정보가 갖춰진 뒤 소급해 노출합니다. 수집 단계에서 버리면 되돌릴 수 없기 때문입니다.

역할 구분

검증은 시스템 공급자만의 일이 아닙니다. 책임 범위를 명확히 구분해 두면 검증 진행이 수월합니다.

항목	주체
검증 계획과 승인 (IQ · OQ · PQ)	고객 (품질 조직)
검증 수행에 필요한 증거 · 기록 제공	AkashiQ
원천 시스템의 전자서명 · 기록 책임	원천 시스템
적재 정합성 검증 자동화	AkashiQ
접근 통제 정책 결정	고객
접근 통제 실행과 기록	AkashiQ

AkashiQ가 하는 일은 검증 활동을 대신하는 것이 아니라, 검증에 필요한 증거를 재현 가능한 형태로 제공하는 것입니다.

검증 준비 체크리스트

항목	확인
대상 시스템별 적재 검증 규칙이 정의되어 있는가	검증 파이프라인 설정
검증 결과가 주기적으로 기록되는가	품질 판정 이력
실패 시 통지 경로가 있는가	알림 설정
접근 통제가 정책대로 동작함을 보일 수 있는가	정책 설정과 위반 기록
복구 절차가 문서화되고 기록되는가	복구 실행 이력
마스킹 · 비식별이 검증되는가	잔존 검증 지표

관련 문서

• 감사 로그
• 분류와 마스킹
• 데이터 복구
• Pipeline Ops · 데이터 품질