2026 중국 기업 AI 인프라 구축 현황과 GPU 구매 열풍

클라우드에서 데이터센터로: 기업 AI 인프라의 회귀

2025년 말, 베이징의 연매출 3억 위안 규모 제조업 고객이 저희를 찾아와, 클라우드에서 돌리던 AI 품질 검사 모델을 다시 사내로 옮길 계획이라고 말했습니다. “매달 추론 비용이 엔지니어 세 명 월급을 다 합친 것보다 비쌉니다.” 기술 책임자인 장 씨는 손가락을 꼽아가며 계산했습니다. “GPU 자원 활용률은 30%도 안 되니, 그냥 버리는 돈이라 아깝습니다.” 이런 상황은 지난 1년간 반복적으로 나타났습니다. 저희가 접촉한 30여 곳의 제조·의료·금융 고객 통계에 따르면, 2025년에는 60%의 기업이 사내 AI 클러스터 구축을 검토 중이거나 이미 착수했으며, 이 수치는 2024년에는 25%에도 미치지 못했습니다. 이번 열풍의 배경에는 분명한 요인이 있습니다. 대규모 모델 API 호출 비용이 계속 높은 수준을 유지하는 가운데, DeepSeek 등 오픈소스 모델의 성능이 GPT-4 수준에 점차 근접했고, NVIDIA H100/H200의 시장 가격이 2025년 하반기부터 풀리기 시작했습니다. 기업의 연산력 고민은 “살 돈이 되느냐”에서 “사서 어떻게 잘 쓰느냐”로 바뀌었습니다. 주목할 만한 변화는 구매 의사결정 권한이 CTO 사무실에서 현업 부서 책임자로 내려오고 있다는 점입니다. 공장 현장 관리자가 요구사항을 제기하고 본사 CIO가 승인하는 방식이 새로운 일상이 되고 있습니다.

DGX Spark, 화웨이 어센드(Ascend)와 중국산 GPU: 세 갈래 길의 현실

하드웨어 선정으로 넘어가면, 2026년 중국 시장은 뚜렷한 ‘3극 분화’ 양상을 보입니다. DGX Spark는 NVIDIA가 2025년 선보인 엣지 컴퓨팅 제품으로, 단일 노드 1 PetaFLOPS의 추론 성능을 내세우며, 빠른 구축이 필요하고 운영 인력이 제한적인 중소기업에 적합합니다. 저희는 순이구에서 직원 200명 규모의 이커머스 기업을 본 적이 있는데, DGX Spark 두 대로 상품 추천 모델을 돌려 응답 지연이 클라우드의 800밀리초에서 120밀리초로 줄었고, 사용자 클릭 전환율이 곧바로 12% 올랐습니다. 하지만 현실적인 문제도 있습니다. DGX Spark는 대당 판매가가 여전히 15만~20만 위안대이며, 사후 유지보수와 전력 비용까지 더하면 중소기업의 초기 투자 부담이 적지 않습니다. 화웨이 어센드 910B/C는 중국 내 대규모 모델 학습과 정부·공공 관련 영역에서 확고하게 선두 자리를 차지하고 있습니다. 2025년, 한 직할시의 스마트시티 프로젝트가 어센드 서버 500대를 한 번에 구매했고, 총액은 2억 위안을 넘었습니다. 기술 사양을 보면 어센드 910B의 FP16 연산 성능은 256 TFLOPS에 달해 H100과의 격차가 좁혀지고 있으며, MindSpore 프레임워크에서의 최적화도 상당히 성숙했습니다. 다만 실제 도입 과정에서 기업들이 공통적으로 지적하는 문제는 소프트웨어 생태계입니다. 많은 오픈소스 모델의 어센드 호환 버전에는 별도의 개발 기간이 필요해, 프로젝트 진행이 다소 지연되고 있습니다.

중소기업 AI 의사결정 프레임워크: ‘살까 말까’에서 ‘얼마나 사고 어떻게 운영할까’로

지난 1년간 가장 많이 받은 질문은 “우리 정도 규모면 GPU 클러스터를 직접 구축해야 할까요?”였습니다. 제 조언은 이 질문을 세 가지 차원으로 나눠 보라는 것입니다.

1. 비즈니스 시나리오의 연산 밀도. AI 작업이 7×24시간 상시 가동되는 온라인 추론(예: 고객센터 챗봇, 실시간 리스크 관리)이라면 사내 구축이 뚜렷한 비용 우위와 지연 개선 효과를 가져옵니다. 반면 하루 한 번 돌리는 데이터 분석에 불과하다면 클라우드의 온디맨드 호출이 더 경제적일 수 있습니다.
2. 팀의 기술 소화 역량. GPU 클러스터는 사기만 하면 바로 쓸 수 있는 것이 아닙니다. 드라이버 디버깅, 다중 GPU 인터커넥트, 모델 배포, 모니터링·알림까지 이 운영 체계에는 최소 1~2명의 리눅스 시스템 관리 경험을 갖춘 엔지니어가 필요합니다. 이런 인력이 없다면 구매 후 실제 활용률은 참담한 수준이 되기 십상입니다.
3. 데이터 규정 준수와 프라이버시 경계. 의료·금융·제조 등 업종의 민감 데이터는 규제 제약을 받는 경우가 많아, 사내 배포는 MLPS 2.0(중국 등급보호제도) 규정 준수를 위한 필수 요건입니다. 이런 상황에서 자체 클러스터 구축은 비용 계산의 문제가 아니라 규정 준수의 문제입니다.

실용적인 의사결정 참고 자료로 ‘3년 TCO 모델’을 권합니다. 3년간의 클라우드 API 호출 비용을 추정한 뒤, 같은 기간 사내 클러스터의 구매 비용 + 전기료 + 운영 인건비와 비교하는 것입니다. 전자가 후자의 1.5배를 넘는다면 사내 구축을 진지하게 검토할 만합니다. 저희는 고객을 위해 이런 산정을 여러 번 해봤는데, 많은 제조 공장의 품질 검사 AI는 사내로 이전한 뒤 3개월이면 하드웨어 비용을 회수했습니다. 여기서 꼭 짚어야 할 점이 있습니다. GPU 클러스터 구축은 서버 몇 대를 사는 것만으로 끝나지 않습니다. 네트워크 아키텍처, 스토리지 IO, 냉각 개조 등 부대 요소가 전체 투자의 20%~30%를 차지하는 경우가 많습니다. 기업에 IT 인프라 경험이 부족하다면, 하드웨어를 따로 사서 통합업체가 짜맞추게 하는 대신 통합 납품 방식을 우선 고려하시길 권합니다. 저희가 왕징에 있는 한 고객이 바로 이 부분에서 손해를 봤습니다. 서버는 최고 사양으로 샀지만 스토리지에 기가비트 네트워크를 선택하는 바람에 학습 데이터 로딩이 곧바로 병목이 되어, 결국 두 번째 개조를 해야 했습니다.