AI 오피스 도구 확산이 기업 IT 인프라에 가져온 새로운 부담

지난주 순이에 있는 기계 부품 공장을 재방문했을 때, 사장님은 올해 연구개발부에서 AI 보조 설계 도구 세 가지를 도입한 뒤 재무팀 소장의 ERP 시스템이 열리는 데 20초나 걸린다고 하셨습니다. 황당하게 들리지만, 지난 반년 동안 저는 비슷한 상황을 적어도 7~8번은 겪었습니다. AI 도구 자체는 로컬 자원을 많이 차지하지 않지만, 네트워크 의존도를 단번에 끌어올립니다. 회선 대역폭, API 응답, 데이터 국외 이전, 비용 배분이 모두 한데 묶여 있기 때문입니다. 이 글을 쓰는 이유는 최근 상담한 기업 중 60% 이상이 AI 도구 구매와 IT 계획을 따로따로 진행하고 있기 때문입니다.

회선 대역폭이 “먹히는” 속도는 생각보다 빠릅니다

작년 이맘때만 해도 20Mbps 기업용 인터넷으로 OA와 메일을 돌리는 데 여유가 있었습니다. 올해는 아무 컴퓨터에나 Copilot이나 국산 AI 어시스턴트 하나만 설치해도 백그라운드에서 문서를 계속 업로드하고, API로 요청을 보내고, 모델 업데이트를 내려받아 단말 한 대의 동시 트래픽이 2~3Mbps에 달합니다. 계산해 보십시오. 30명 규모 연구개발부에서 단말 20대가 AI를 돌리면 피크 대역폭 요구량이 순식간에 40~60Mbps로 뜁니다. 예전에는 충분했던 50Mbps 전용선도 이제는 절반의 시간만 버벅이지 않을 수 있습니다.

더 골치 아픈 것은 많은 AI 도구의 트래픽 특성이 기존 사무용 소프트웨어와 전혀 다르다는 점입니다. 규칙적인 하트비트 패킷이 아니라 돌발적인 대량 요청입니다. 아침 회의 전에 자료를 몰아서 검색하고, 오후에는 보고서를 몰아서 생성하고, 야간 근무 때는 학습 자료 업로드가 또 한 번 몰립니다. 이런 트래픽 모델에서는 기존 대역폭 할당 전략이 완전히 무력해집니다. QoS 속도 제한을 걸면 정상 업무를 잘못 차단하고, 걸지 않으면 피크를 감당하지 못합니다.

네트워크가 갑자기 부족해지는 문제로 고민하고 계시다면, 저희가 제공하는 네트워크 증설 방안을 살펴보시기 바랍니다. AI 업무 환경에 특화된 대역폭 설계 서비스를 제공하고 있습니다.

LLM API 지연은 미신이 아니라 측정 가능한 업무 손실입니다

AI 도구를 엑셀처럼 사들인 뒤 “왜 이렇게 느리냐”고 불평하는 기업을 한두 곳이 아니라 여러 곳 봤습니다. 사실 느린 이유는 아주 구체적입니다. LLM API의 응답 시간은 세 구간으로 구성됩니다. 네트워크 전송 지연, 모델 추론 시간, 서버 대기열 대기입니다. 세 번째 구간이 가장 쉽게 간과되지만, 업무 피크 시간대에는 응답 시간의 70% 이상을 차지할 수 있습니다.

국내 한 대표급 대형 모델의 API는 비피크 시간대에 P99 지연이 약 800밀리초이지만, 월요일 아침 9시 30분이 되면 3~5초까지 치솟습니다. 영업 담당자에게 AI로 고객 제안서를 생성하게 하고, 버튼을 누른 뒤 물 한 잔 떠오고 돌아와도 결과가 나오지 않는다면, 그런 경험 때문에 도구는 곧 버려집니다. 반대로 프라이빗 배포나 엣지 노드 호출로 바꾸면 지연을 300밀리초 이내로 낮출 수 있어 사용자 체감이 완전히 달라집니다.

제 경험상 API 지연이 1.5초를 넘으면 도구 사용률이 절벽처럼 떨어지고, 3초를 넘으면 사실상 아무도 쓰지 않습니다. 이 수치는 엄밀한 학술적 근거는 없지만, 제가 접한 20여 개 기업에서 매우 일관되게 나타났습니다. 그래서 기술 문제라기보다 직원 행동학의 문제입니다. 응답 시간을 사용자의 심리적 인내 임계값 아래로 낮춰야 하며, 그렇지 않으면 AI 도구는 장식품에 불과합니다.

1. 측정 기준선: 자주 쓰는 시나리오 3~5개를 골라 낮 시간대별 API 응답 시간을 기록합니다.
2. 병목 식별: 통신사 간 회선 문제인지, 모델 서버 측 대기열 문제인지 찾아내야 적절한 처방이 가능합니다.
3. 방안 선택: 빈도가 높은 시나리오는 프라이빗 배포나 엣지 노드로, 빈도가 낮은 시나리오는 퍼블릭 API를 계속 사용해 비용을 관리합니다.
4. 지속 모니터링: 임계값 알림을 설정해 지연이 1.5초를 넘으면 사용자 불만이 들어오기 전에 IT에 자동 통보합니다.

이것은 기술 선택의 문제가 아니라 사용자 경험 설계의 문제입니다. IT 부서는 AI 도구가 “빨라 보이도록” 인프라를 조정할 책임이 있으며, 모든 대기를 사용자에게 떠넘겨서는 안 됩니다.

GPU 워크스테이션은 사면 끝나는 것이 아닙니다

대형 모델을 프라이빗으로 배포하는 방식이 요즘 인기를 끌면서, 많은 기업이 충동적으로 GPU 워크스테이션을 삽니다. 하지만 정작 IT 팀을 시험하는 것은 구매 이후의 일입니다.

먼저 냉각과 전력 소모입니다. RTX 4090 한 장의 최대 전력 소모는 450W이고, 8장 워크스테이션이면 3.6kW에 달하며, 다른 장비까지 더하면 랙 하나의 전력 사용량이 손쉽게 5kW를 넘습니다. 일반 사무용 빌딩이나 노후 공장의 전력 설비로는 감당이 되지 않습니다. 어떤 고객은 장비를 사서 전산실로 옮겼다가 배전반 용량이 부족하다는 사실을 알고 증설 신청에 두 달을 더 쓴 사례도 봤습니다. 냉방도 다시 계산해야 합니다. GPU 고밀도 연산이 내는 열은 기존 서버보다 훨씬 많아서, 냉각 시스템을 올리지 않으면 장비를 사우나에 넣는 셈입니다.

다음은 드라이버 업데이트와 모델 호환 문제입니다. 대형 모델 생태계의 반복 주기가 너무 빨라서, 석 달 전에 잘 돌아가던 버전이 이미 도태됐을 수 있고, 드라이버를 올리거나 프레임워크를 바꾸면 다시 한 번 테스트해야 합니다. 이 유지보수 비용은 구매 단계에서 거의 아무도 계산에 넣지 않지만, 실제로는 IT 팀의 많은 역량을 잡아먹습니다. 법률 서비스 업체 고객이 4장짜리 워크스테이션을 사서 로컬 지식베이스를 구축했는데, 첫해에 디버깅과 유지보수에만 구매 비용의 40%를 썼습니다.

마지막은 보안 통제입니다. 로컬에서 모델을 돌리면 데이터가 외부로 나가지 않지만, 물리적 접촉 위험은 어떻게 관리할까요? USB 복사, 화면 촬영, 내부 권한 등급화 같은 일에 미리 규칙을 정해두지 않으면, GPU 워크스테이션은 값비싼 보안 취약점에 불과합니다.

데이터 컴플라이언스는 쉽게 과소평가되는 함정입니다

이 부분은 솔직하게 말씀드려야겠습니다. 지난 1년간 AI 도구로 촉발된 데이터 유출 사건에서 기업이 치른 사후 처리 비용은 터무니없이 높았습니다.

핵심 문제는 하나입니다. 직원이 회사 내부 데이터를 AI 도구에 붙여 넣어 국경을 넘는 데이터 호출이 발생했을 때, 이를 알고 계십니까? 대부분의 SaaS형 AI 어시스턴트는 기본 설정에서 사용자 입력을 모델 개선에 활용합니다. 즉, 귀사의 기술 문서, 고객 정보, 재무 데이터가 이미 다른 회사의 학습 데이터셋에 들어갔을 수 있습니다. 이는 많은 업종에서 컴플라이언스 레드라인입니다.

작년 베이징의 한 테크노파크에서 실태 조사를 했는데, 중소기업 직원 70% 이상이 IT 승인 없이 이미 일상 업무에서 최소 두 가지 AI 도구를 사용하고 있었습니다. 이 도구들의 개인정보 처리방침을 입사 교육에서 설명한 기업은 한 곳도 없었고, IT도 화이트리스트 관리를 하지 않았습니다. 데이터는 그렇게 조금씩 흘러나갔고, 발견했을 때는 이미 늦었습니다.

해결책은 사실 복잡하지 않습니다. 먼저 자산 등급을 나눠 연구개발 배합, 생산 공정, 재무 데이터 같은 핵심 자산은 절대 외부 API를 거치지 않도록 합니다. 행정·일반 문서 작업은 어느 정도 개방할 수 있지만 데이터 보호를 약속한 벤더를 이용해야 합니다. 모든 AI 도구를 IT 관리 목록에 포함하고 정기적으로 로그를 감사합니다.

저희도 제로 트러스트 제품 sTrust 제로 트러스트를 보유하고 있으며, 기업이 AI 도구의 접근 권한과 데이터 흐름을 관리하도록 돕습니다. 이는 능동적 방어로, 사후 대응보다 훨씬 효과적입니다.

비용 통제: AI 도구가 IT 예산을 잡아먹지 않게 하십시오

결국 기업이 AI 도구를 도입하는 이유는 비용 절감과 효율 향상이지만, 인프라가 따라가지 못하면 비용은 오히려 늘어납니다. 간단히 계산해 보겠습니다. 50명 규모의 디자인 회사에서 1인 1대 컴퓨터로 AI 보조 도구를 돌린다면 피크 대역폭 요구량은 대략 30~40Mbps입니다. API 호출 비용을 종량제로 내면 월평균 3,000~8,000위안 정도입니다. GPU 프라이빗 배포로 워크스테이션 한 대를 마련하면 하드웨어와 전산실 개조에 초기 8만~15만 위안이 들고, 이후 매년 전기요금과 운영비로 2만~3만 위안이 더 필요합니다.

문제는 이 돈이 대부분 IT 예산이 아니라 사업 부서의 도구 구매비에 들어 있다는 점입니다. 사업 부서는 소프트웨어 하나를 샀다고 생각하지만, IT는 그 뒤의 인프라 비용을 떠안아야 합니다. 이런 불일치가 자원 배분을 어긋나게 만들고, 도구를 사도 제대로 쓰지 못하고, 못 쓰면 불평하고, 불평이 끝나면 또 새로 사는 악순환으로 이어집니다.

제 경험으로는 AI 도구의 비용은 TCO(총소유비용)로 계산해야 합니다. 네트워크 증설, API 비용, 운영 인력, 잠재적 컴플라이언스 리스크를 항목별로 나열해 사용 부서와 IT 부서가 합의에 이르도록 해야 합니다. 그렇지 않으면 사업 부서는 IT가 혁신을 가로막는다고 생각하고, IT는 사업 부서가 돈을 함부로 쓴다고 생각해 결국 양쪽 모두 불만족스러워집니다.

대부분의 베이징 중소기업에게 첫 단계는 GPU 구매가 아니라 네트워크 진단입니다. 기존 대역폭으로 AI를 돌리기에 충분한지, 어떤 시나리오는 반드시 로컬화해야 하는지, 어떤 것은 API로 처리할 수 있는지 확인해 돈을 가장 필요한 곳에 써야 합니다. 시작부터 대형 모델 프라이빗 배포를 하는 것보다 훨씬 현실적입니다.