• 업계 동향
2025년 09월 24일

SK하이닉스, 사내 30PB 스토리지 직접 구축했다

‘쿠버네티스’ 등 오픈소스로 스토리지 내재화…IT운영 비용절감 실현

 

SK하이닉스가 쿠버네티스로 30PB급 고용량 스토리지 클러스터를 사내에 구축했다. 전사 차원의 인공지능 전환과 맞물려 내부 IT운영을 위한 인프라도 확장한다. (자료=SK하이닉스, 이석진 기자)

SK하이닉스가 사내 생성형 인공지능(AI) 시스템 운영을 위해 30PB(페타바이트, 2의 50제곱) 용량의 고성능 스토리지를 오픈소스를 활용해 자체 구축했다. 반도체 업무특화 생성형 AI 플랫폼 ‘가이아’ 도입과 맞물려 데이터 저장공간을 대폭 확대한 것이다.

눈에 띄는 점은 상용 제품이 아니라 오픈소스 소프트웨어를 활용해 독자적으로 스토리지를 만들었다는 것이다. SK하이닉스는 불과 몇 년 전까지만 해도 글로벌 벤더의 스토리지를 사용했다. 자체 기술로 내재화를 이뤄내 IT 운영비를 크게 절감할 것으로 기대된다.

신호승 SK하이닉스 테크니컬 리더는 16일 용산 백범기념관에서 열린 ‘쿠버네티스 커뮤니티 데이’에서 “4년 전까지 델(Dell)의 스토리지 제품인 ECS를 사용했으나 4년 전 예산 제약을 계기로 오픈소스로 직접 스토리지를 만들었다”며 “현재 1만3000명의 임직원이 이 스토리지에서 수십개 AI 서비스를 연동해 하루 80만건 쿼리(Query)를 처리 중”이라고 밝혔다.

 

◇ 스토리지 구축…’병목해결’ 중점

스토리지는 S3(Simple Storage Service) 아키텍처 기반으로 설계됐다. 아마존이 처음 제시한 S3 구조는 비정형 데이터를 객체 단위로 저장하는 것이 특징이다. 책장을 채우듯 일정한 단위로 데이터를 정리한 채로 필요할 때마다 URL(인터넷주소)로 꺼내 쓰는 구조다. 이 특징에 따라 S3은 “편리하지만 느리다”는 단점이 있다.

SK하이닉스는 이 통념을 뒤집었다. 클라우드 환경을 작은 단위(컨테이너)로 나눠 관리하는 오픈소스 기술인 ‘쿠버네티스’를 적용해 데이터 병목 현상을 줄였다. 그 결과 물리 서버를 직접 사용할 때 성능의 95% 수준으로 끌어올렸다. 신 리더는 “S3는 단순한 보관창고가 아니라 전통적인 하둡(HDFS)보다 빠른 분석용 저장소가 될 수 있다”고 설명했다.

스토리지는 ‘클라우드 네이티브’ 환경에서 사용할 수 있다. 과거에는 물리서버 하나씩 관리하는 방식이 일반적이었다. SK하이닉스는 쿠버네티스로 수백대 서버를 하나의 컴퓨터처럼 관리하는 방식을 채택했다. 쿠버네티스 환경에서는 인프라 용량 확장이 유리하고 시스템 장애가 발생해도 복구 속도가 빠르다.

스토리지 엔진으로 오픈소스 ‘미니오(MinIO)’를 채택했다. 미니오는 S3과 같은 분산형 오브젝트 스토리지에 사용하는 엔진으로 비정형 데이터를 빠르게 저장할 수 있다. 미니오는 다른 엔진과 다르게 단일 프로그램으로 구동돼 불필요한 중간 과정이 없고 디스크와 곧바로 연결하는 드라이버를 지원해 병목 구간이 없다는 것이 특징이다. 

네트워크 설계도 스토리지 성능을 결정하는 중요한 축이다. SK하이닉스는 하이퍼스케일 데이터센터의 표준으로 자리잡은 ‘스파인-리프(Spine-Leaf)’ 구조를 적용했다. 척추(스파인)과 잎(리프)이라는 두 계층으로 나눠 네트워크 장비를 배치한다. 리프와 스파인 사이 단순한 경로만 거쳐 서버 수천대를 설치해도 속도가 일정하다. 

데이터 전송 절차를 간소화하기 위해 최신 라우팅(경로지정) 기술인 BGP와 운영체제 내장 프로그램인 eBPF도 적용했다. BGP는 통신망을 잇는 표준 프로토콜로 전산실 내부에서도 각 노드(서버)와 스위치(전송장치) 간 가장 짧은 경로를 지정하는 것을 돕는다. eBPF는 리눅스 운영체제 상에서 사전에 네트워크 패킷(전송단위)을 처리해 병목 현상을 예방한다.

운영체제 관점에서 최적화도 이뤄냈다. 일반적으로 솔리드스테이트드라이브(SSD)는 데이터를 쓰기 전에 지우는 과정을 선행한다. 이 때문에 SSD 저장용량이 80% 이상 차면 속도가 급격히 감소한다. SK하이닉스는 최신 리눅스 커널을 적용해 데이터를 청크(덩어리) 단위로 나눠 처리해 SSD 성능 절하를 최소화했다.

 

 

◇ 30PB 넘어 1EiB 급으로

SK하이닉스는 30PB 용량에서 끝내지 않고 초대형 인프라로 확장한다. 목표는 1엑사바이트(EiB, 2의 60제곱)급 스토리지다. 현 규모의 30배 이상으로 영화 수백억 편을 동시에 저장할 수 있는 수준이다.


. . . 자세한 내용은 [원문 보기]

출처 : 전자부품 전문 미디어 디일렉(http://www.thelec.kr)

 

 

 

 

 

📩 기술 협업 및 도입 문의: business@quantumcns.ai / 010-7687-1684