[기술] 끊임없는 투자, 하이퍼스케일러

 

 

2016년 알파고의 등장으로 AI가 주목받기 시작했지만, 특정 용도로만 사용되는 한계가 있었다. 7년이 지난 2023년, OpenAI가 챗GPT를 출시하면서 AI를 범용적으로 활용할 수 있게 되었다. 비지니스 모델이 B2B 중심의 AI서비스에서 B2C로 확장되었고, 실제 전 세계 소비자들이 유료서비스를 이용하게 된다. 이후 하이퍼스케일러들은 자체 AI 알고리즘 모델을 개발하여, B2B고객을 대상으로 한 다음의 서비스를 제공하는 비즈니스 모델을 만들었다.

 

IaaS(Infrastructure as a Service, IT인프라 서비스) : 서버·스토리지·네트워크 등
PaaS(Platform as a Service, 플랫폼 서비스) : 개발환경

SaaS(소프트웨어 서비스) : 소프트웨어 설치 없이 웹 서비스

 

IaaS는 사용자는 운영체제·미들웨어·애플리케이션·데이터 등을 직접 관리하는 반면, SaaS는 서비스업체가 인프라·애플리케이션·데이터를 관리한다. 즉 Saas 사용자는 계정 생성 후에 즉시 사용이 가능하며, 유지·보수의 부담이 낮다.

반응형

끝이 투자해야 하는, 하이퍼스케일러

 

하이퍼스케일러(Hyperscaler)는 초대형 데이터센터와 인프라를 갖추어, 대규모 클라우드 컴퓨팅 및 데이터 서비스를 전 세계적으로 제공하는 기업을 말한다. 2025년 대표적인 하이퍼스케일러는 다음과 같다.

 

AWS(Amazon Web Services)

Google Cloud

Microsoft Azure

Meta Platforms
IBM Cloud

Alibaba Cloud

 

하이퍼스케일러의 기업고객들이 대규모 인프라 투자 없이 AI서비스를 활용할 수 있게 되었다. AWS가 클라우드 서비스의 강자로 자리잡고 있는 가운데, OpenAI에 투자한 MS도 ChatGPT 모델을 자사 인프라에 통합함으로써 클라우드 시장의 점유율을 확대하고 있다. 문제는 하이퍼스케일러가 AI모델을 지속적으로 업그레이드·확장하기 위한 투자금(데이터센터 서버·스토리지)을 조달해야 한다는 것이었고, 그 금액은 말 그대로 천문학적이다. 일반적으로 하이퍼스텔일러 회사 당 연 25조원으로 추산하고 있다. 특히 멀티모달 AI(사진·영상)의 등장으로 데이터센터로 보내지는 데이터 양은 폭증하고 있는 상황이다.

 

또 다른 문제는 전력효율(전성비)였는데, 데이터센터를 가동시키는 전력 뿐만 아니라 가동에 따른 열을 냉각시키는 열도 만만치 않다. 즉 전력이 이중으로 소모되고 있는 것이다. 하이퍼스케일러는 효율화도 추진하고 있지만, 강화(추론방식 포함)에 따른 투자부담이 더 큰 상황이다.

 

AI컴퓨터의 핵심, AI가속기

 

원래 그래픽 처리용으로 개발된 GPU는 단순한 연산을 동시에 병렬처리하는 역할에 특화된 구조로, AI학습에 최적화된 칩으로 진화하게 된다. 2023년 ChatGPT 발표 이후, 엔비디아는 GPU 매출이 급증하면서 시가총액 1위가 된다. 젠슨 황은 단순한 GPU업체가 아닌 독자적인 생태계를 구축하려 했고, 이를 위해 쿠다(CUDA), API, MVLink(칩 간 통신기술)를 개발했다. 하이퍼스케일러는 엔비디아에 대해 불만이 많은 상황인데, GPU패키징 공급이 부족하면서 너무 고가에 공급되고 있기 때문이다.

AI가속기(AI accelerator)는 AI의 학습·추론에 특화설계된 아키텍처(반도체패키지)로, GPU와 여러 개의 HBM을 조립하여 만든다. NPU(Neural Processing Unit, 신경망처리장치)는 인공신경망 연산을 위해 맞춤설계된 추론용 칩으로, AI가속기는 NPU를 포괄하는 AI칩(통합칩)을 포함하는 개념이다. 학습에 최적화된 GPU와 달리, NPU는 학습된 모델을 바탕으로 빠르고 효율적인 추론을 수행하도록 설계된다. 하이퍼스케일러들은 엔비디아에 대한 의존도를 낮추기 위해 자체적으로 NPU을 개발 중에 있는데, 이는 전성비를 높이기 위한 목적이기도 한다.

 

NPU 설계를 주력으로 하는 업체들이 주목받고 있으며, 대표적인 기업이 브로드컴이다. 통신스위치 칩 생산에 주력하던 브로드컴은 하이퍼스케일러의 NPU 설계를 대행하면서 급성장했지만, 이 또한 독점적인 지위를 만들었다. 브로드컴도 가격을 높여 나가면서, 하이퍼스케일러 입장에서는 제2의 엔비디아가 된 것이다. 반도체시장은 원래 멀티벤더(다중 공급처)가 일반적이지만, AI가속기 시장은 급성장과 함께 양극화(독점화)가 심화되고 있다. 각 분야의 선두기업에만 수요가 몰리고 있는 것이다.

 

AI컴퓨터는 AI가속기와 CPU·낸드저장장치 등을 조립한 것으로, 6억원 가량의 DGX H100(엔비디아 AI컴퓨터)는 8개의 H100, 제온 4세대 CPU(인텔)와 함께 낸드저장장치(30테라바이트)가 탑재되었다. AI데이터센터는 수 백대 이상의 AI컴퓨터를 모아 놓은 공간으로, 대규모 언어모델을 학습시키게 된다.

 

현 시점 절대강자, 블랙웰

생성형AI 등장 이후 빅테크들의 AI가속기 주문량이 폭증하면서, H100(엔비디아)의 가격은 5,000만원 이상으로 폭등했다. 엔비디아 외에도 AMD(MI)·인텔(가우스)·삼성전자(마하)에서 AI가속기 출시를 계획하고 있다. AI가속기도 GPU와 마찬가지로 설계·패키징이 분리된다. H100에는 HBM(4세대) 8단 5개가 탑재되었고, HBM(고대역폭메모리)는 D램 다이(stack, 단)을 수직으로 쌓는 형태이다.

 

엔비디아가 H100에 이은 차세대 AI가속기로 개발한 것이 블랙웰(Blackwell)이다. B100은 HBM3E(5세대) 8단 제품을 탑재하여, H100보다 2.5배 빠른 데이터 연산속도를 제공한다. B200은 HBM3E(5세대) 12단 8개가 탑재되며, 블랙웰 라인업의 플래그십(flagship, 주력상품)이다. B200의 추론성능은 H100과 비교하여 30배 이상 향상되었다고 한다. B100·B200은 주로 대규모 데이터센터 및 클라우드 서비스용으로 사용되는데, B200을 공랭이 가능한 경량화시킨 버전이 B200A이며, 여기에는 HBM3E(12단) 4개가 탑재된다. 2024년 2월 엔비디아 시가총액이 한국 전체의 시가총액을 넘어섰다.

 

2025년 초까지 SK하이닉스가 엔비디아에 납품되는 대부분의 8단·12단 HBM3E를 공급하면서, 2025년 중반 다음의 구도가 시장을 지배하고 있다.

 

엔비디아 : 팹리스

SK하이닉스 : HBM 제조

TSMC : 파운드리

 

4세대 HBM까지 공급했었던 삼성전자는 5세대 테스트를 완료하지 못한 상태였기 때문이다.