글로벌 AI 인프라 시장이 일시적인 투자 확대를 넘어 구조적인 성장 단계에 진입하고 있다. AI 모델이 고도화되고 실제 산업에서 활용되는 사례가 늘면서 학습을 마친 AI가 답이나 예측을 내놓는 ‘추론’ 수요가 빠르게 증가하고 있어서다. 이에 따라 AI 인프라 시장의 경쟁 기준도 단순한 설비 규모에서 벗어나 전력과 부지, 공급망을 확보하고 안정적인 고객 수요를 장기 계약으로 연결하는 역량으로 확대되고 있다.

글로벌 경영 컨설팅 기업 알바레즈앤마살(이하 A&M)은 글로벌 AI 인프라 시장의 변화와 투자 기회를 분석한 보고서 ‘네오스케일러의 부상: AI 인프라 구축을 위한 글로벌 경쟁(Rise of the Neoscalers: Global Race to Build AI Infrastructure)’을 발간했다고 12일 밝혔다.

A&M은 구글과 아마존웹서비스(AWS) 등 미국 5대 하이퍼스케일러가 제시한 2026년 설비투자 계획이 총 7500억달러를 웃돌 것으로 전망하며 AI 인프라 수요가 구조적인 성장 국면에 들어섰다고 진단했다. 기업의 AI 도입과 소비자용 서비스 확대뿐 아니라 산업용 AI와 데이터 주권을 중시하는 소버린 AI가 새로운 수요를 만들고 있어서다.

특히 AI 시장의 중심이 모델 개발과 학습에서 실제 서비스 활용으로 확대되면서 추론 인프라의 중요성이 커지고 있다. 현재 AI 연산에서 추론이 차지하는 비중은 40% 이상이며, 향후 신규 수요에서는 75% 이상으로 높아질 전망이다. 업무 자동화와 소프트웨어 개발, 연구개발, 수요 예측, 이상 거래 탐지 등 기업과 정부의 실제 업무에 AI를 적용하는 사례가 늘어날수록 지속적인 연산 인프라가 필요하기 때문이다.

반면 공급 확대에는 상당한 시간이 필요하다. 전력망 접속과 부지 확보, 인허가, 데이터센터 건설뿐 아니라 냉각설비와 주요 부품 조달에도 상당한 시간이 소요돼 공급 확대 속도가 수요 증가세를 따라가지 못하는 상황이 이어지고 있다. A&M은 이에 따라 향후 AI 인프라 사업의 경쟁력이 단순히 GPU나 데이터센터를 얼마나 많이 보유했는지가 아니라 필요한 인프라를 적기에 확보하고 이를 안정적인 수요와 연결할 수 있는지에 좌우될 것으로 내다봤다.

투자 기간의 차이도 주요 변수다. AI 가속기는 통상 18~24개월마다 새로운 세대가 출시되는 반면 데이터센터의 부지와 전력, 냉각설비 등 기반시설은 훨씬 장기간 사용된다. 최신 GPU의 가치와 활용도가 빠르게 낮아질 수 있는 반면 데이터센터는 장기간 운영해야 하는 만큼 장비와 기반시설 사이에는 투자 회수 기간의 차이가 발생한다.

이에 따라 A&M은 AI 인프라에 투자할 때 장비 성능뿐 아니라 실제 고객 수요와 신용도, 계약 기간과 해지 조건 등을 함께 검토해야 한다고 강조했다. 신용도가 높은 고객과 장기 사용계약을 확보하지 못하면 GPU 가격이나 가동률 변화에 따라 사업성이 빠르게 악화할 수 있다. 결국 수요를 안정적인 현금흐름으로 전환할 수 있는 계약 구조와 실행 역량이 관건이라는 분석이다.

김명구 A&M 파트너는 “오늘날 AI 인프라 사업의 경쟁력은 GPU 확보 규모보다 고객 맞춤형 인프라를 얼마나 빠르게 구축하고 안정적으로 운영하느냐, 그리고 이를 장기 계약으로 연결할 수 있느냐에 달려 있다”고 말했다.

◇ AI 수요 다변화 속 ‘네오스케일러’의 부상

AI 인프라 공급이 수요 증가를 따라가지 못하는 상황이 지속되는 가운데 기존 하이퍼스케일러의 역량만으로 다양한 AI 수요를 충족하기 어려워지면서 ‘네오스케일러’가 부상하고 있다. 네오스케일러는 AI 모델 또는 GPU 인프라에 특화해 대규모 학습·추론과 소버린 AI 수요 등에 대응하는 사업자다. 오픈AI와 같은 AI 개발사와 코어위브 등 GPU 클라우드 사업자가 대표적이다.

A&M은 네오스케일러 시장을 모델과 인프라 영역으로 구분했다. 모델 네오스케일러는 첨단 AI 모델 개발과 서비스에 집중하면서 필요한 컴퓨팅 인프라를 주로 외부에서 확보한다. 반면 인프라 네오스케일러는 GPU 클라우드와 서비스형 GPU(GPUaaS), AI 전용 데이터센터 등 AI 컴퓨팅 인프라를 직접 구축·운영한다.

다만 사업자 간 경계는 점차 흐려지고 있다. 하이퍼스케일러는 자체 AI 칩과 모델을 개발하고 있으며, AI 개발사는 데이터센터 사업자와 직접 계약해 전용 컴퓨팅 인프라를 확보하고 있다. 칩과 클라우드, AI 모델, 데이터센터 사업자가 서로의 영역으로 진출하면서 AI 인프라 시장의 경쟁 구도도 개별 사업자 간 경쟁에서 여러 사업자가 결합한 생태계 경쟁으로 변화하고 있다.

A&M은 네오스케일러가 기존 하이퍼스케일러를 완전히 대체하기보다는 상호 보완적인 역할을 할 것으로 전망했다. 하이퍼스케일러는 광범위한 고객 기반과 범용 클라우드 서비스, 글로벌 운영 역량에서 강점을 갖는다. 반면 네오스케일러는 전용 GPU 클러스터와 소버린 AI 인프라, 특정 고객의 요구에 맞춘 구축이 필요한 프로젝트에서 차별화할 수 있다. 향후 시장은 어느 한쪽이 다른 쪽을 대체하기보다 서로 다른 수요를 담당하는 형태로 분화할 가능성이 크다는 분석이다.

김 파트너는 “AI 인프라 시장이 빠르게 확대되면서 기존 하이퍼스케일러만으로는 모든 수요를 감당하기 어려워지고 있다”며 “특히 전용 GPU 클러스터나 소버린 AI, 특정 산업 및 기업 맞춤형 인프라 영역에서는 네오스케일러가 새로운 선택지가 될 수 있다”고 말했다. 이어 “한국에서도 제조, 금융과 같은 산업별 데이터에 특화된 AI와 소버린 AI, 기업용 프라이빗 AI를 중심으로 투자 기회를 모색할 수 있다”고 설명했다.

다만 김 파트너는 “투자에 앞서 실제 수요와 사업의 지속성을 충분히 검증해야 한다”며 “전력, 부지 등의 인프라 여건뿐 아니라 고객의 신용도와 계약 안정성을 종합적으로 살피는 것이 핵심”이라고 강조했다.

알바레즈앤마살 소개

알바레즈앤마살(Alvarez & Marsal, A&M)은 1983년 설립된 글로벌 경영컨설팅 기업으로, 기업 구조조정 및 턴어라운드 관리 분야에서 독보적인 헤리티지(Heritage)를 기반으로 성장해 왔다. 위기관리와 실행 중심 자문을 바탕으로 성과 개선, 구조조정, 트랜스포메이션 등 핵심 경영 과제를 해결하며 전문성을 쌓아왔으며, 디지털 전환이 보편화되는 흐름 속에서 AI 기반 혁신(AI Transformation, AX)과 같은 첨단 역량을 접목하며 종합 경영 컨설팅펌으로 영역을 확장하고 있다. A&M은 실질적인 변화를 이끌어내는 실행력을 바탕으로 고객사의 가시적인 성과와 지속 가능한 성장을 지원하며, 현재 전 세계 40여 개국에서 1만2000명 이상의 전문가가 활동하고 있다.