BeSTCon 2026 참관 후기 | 더 빠른 AI를 넘어, 신뢰할 수 있는 AI로

AI가 “요청하신 작업을 완료했습니다“라고 답했다면, 실제로도 정상적으로 처리된 것일까요?

AI가 코드를 작성하고 실제 업무까지 수행하는 시대가 되면서, 이제는 AI가 만들어낸 결과뿐 아니라 그 과정이 안전하고 신뢰할 수 있는지도 중요한 과제로 떠오르고 있습니다.

서비스개발팀의 Aila, Cato는 이러한 기술 변화와 소프트웨어 품질 검증 동향을 살펴보기 위해 지난 11월 5일 서울 코엑스에서 개최된 ‘제12회 국제 품질 테스팅 콘퍼런스(BeSTCon 2026)’에 참석했습니다.

이번 콘퍼런스는 ‘TRUST in AI: 보안, 신뢰성, 그리고 품질의 새로운 기준’을 주제로, AI 기반 소프트웨어 개발 환경의 변화부터 AI 에이전트의 신뢰성 평가, 테스트 자동화, DevSecOps를 통한 보안 강화까지 다양한 기술과 적용 사례를 공유하는 자리였습니다.

AI 개발은 빨라졌지만, 품질 검증도 그만큼 빨라졌을까?

AI 코딩 도구는 단순한 코드 자동완성을 넘어 여러 파일을 수정하고, 테스트 코드를 생성하며, 개발 작업의 일부를 자율적으로 수행하는 수준으로 발전하고 있습니다.

그러나 코드 작성 속도가 향상되었다고 해서 소프트웨어 개발 전 과정이 같은 속도로 빨라지는 것은 아닙니다.

이번 콘퍼런스에서는 AI가 생성하는 코드의 양이 증가하면서 코드 리뷰, 테스트, 보안 검증, 배포 단계로 병목이 이동하는 현상이 주요 과제로 다뤄졌습니다.

AI가 빠르게 코드를 생성하더라도 이를 검토하고 검증하는 과정이 충분히 뒷받침되지 않으면, 오히려 품질 관리 부담이 증가할 수 있습니다.

이에 따라 AI를 개발 보조 도구로 활용하는 수준을 넘어, 요구사항 정의부터 개발 · 테스트 · 배포까지 소프트웨어 개발 생명주기(SDLC) 전반의 품질 관리와 자동화 체계를 함께 발전시켜야 한다는 점이 강조되었습니다.

AI가 “완료했다“고 말하는 것만으로 충분할까?

이번 행사에서 특히 인상적이었던 내용은 AI 에이전트의 실행 기록(Trace)과 도구 호출(Tool Call)을 활용한 신뢰성 검증이었습니다.

발표에서는 AI 에이전트가 사용자에게 결재 요청을 정상적으로 처리했다고 응답했지만, 실제 시스템에서는 결재 한도 초과로 반려된 사례가 소개되었습니다.

사용자에게 표시된 응답만으로는 작업이 성공한 것처럼 보이지만, 실제 시스템의 처리 결과는 달랐던 것입니다.

이러한 문제를 확인하려면 최종 응답뿐 아니라 AI가 어떤 API를 호출했는지, 적절한 권한으로 작업을 수행했는지, 실제 시스템에 반영된 결과가 응답과 일치하는지까지 검증해야 합니다.

AI의 신뢰성은 얼마나 그럴듯하게 답변하는지가 아니라, 실제로 올바른 작업을 수행했는지까지 확인할 수 있어야 한다는 것입니다.

AI 에이전트가 단순한 질의응답을 넘어 업무 자동화와 외부 시스템 연동으로 활용 범위를 넓혀가는 만큼, 실행 과정의 추적성과 검증 가능성은 더욱 중요해질 것으로 보입니다.

개발 초기부터 보안을 확보하는 DevSecOps

AI 기반 개발 환경의 확산과 함께 개발 초기 단계부터 보안을 검증하는 DevSecOps와 Shift-Left 접근 방식도 주요 주제로 다뤄졌습니다.

발표에서는 소스코드의 보안 취약점을 분석하는 SAST, 오픈소스 의존성의 위험을 점검하는 SCA, 소프트웨어 구성요소를 관리하는 SBOM 등을 CI/CD 파이프라인과 연계하는 사례가 소개되었습니다.

특히 주목할 만한 부분은 Quality Gate를 활용해 보안 정책을 충족하지 못한 코드의 배포를 자동으로 차단하는 방식이었습니다.

코드 변경 단계부터 취약점을 분석하고, 발견된 문제를 수정 · 재검증한 후 배포하도록 통제함으로써 보안 위험이 운영 환경으로 유입될 가능성을 줄이는 것입니다.

이는 단순히 보안 검사 절차를 추가하는 것이 아니라, 개발과 배포 과정에 품질 · 보안 검증을 자연스럽게 통합하는 접근 방식입니다.

AI를 활용한 코드 생성이 늘어나는 환경일수록 개발 속도 향상과 함께 자동화된 품질 · 보안 검증 체계를 갖추는 것이 중요하다는 점을 확인할 수 있었습니다.

더 빠른 AI를 넘어, 신뢰할 수 있는 AI로

이번 BeSTCon 2026에서 가장 인상 깊었던 점은 AI 기술의 활용과 생산성 향상뿐 아니라, 그 결과를 어떻게 검증하고 신뢰성을 확보할 것인가에 대한 논의가 중요하게 다뤄졌다는 것입니다.

AI 코딩의 확산에 따른 품질 검증의 변화, 실제 실행 과정을 확인하는 AI 에이전트 평가, CI/CD 기반 보안 자동화까지 다양한 사례를 통해 소프트웨어 품질 관리의 방향을 살펴볼 수 있었습니다.

특히 AI 서비스와 클라우드 플랫폼을 개발 · 운영하는 기업의 관점에서, 이러한 기술들이 실제 서비스의 안정성과 보안성을 높이는 데 어떻게 활용될 수 있을지 생각해 볼 수 있는 의미 있는 시간이었습니다.

퀀텀씨엔에스는 앞으로도 빠르게 변화하는 AI 기술과 소프트웨어 개발 환경에 주목하며, 품질과 보안, 신뢰성을 함께 고려하는 AI 서비스 개발을 위한 기술 역량을 지속적으로 발전시켜 나가겠습니다.