최근 가장 많이 받는 질문이 하나 있습니다. “우리 회사에서 AI를 직접 구축할 수 있을까요? 데이터를 외부로 보내고 싶지 않습니다.”
답은 ‘가능하다’입니다. 게다가 2년 전보다 훨씬 쉬워졌습니다. 다만 장비를 사기 위해 돈을 꺼내기 전에, 네 가지를 미리 정리해 두면 적지 않은 돈을 낭비하지 않을 수 있습니다 — 특히 세 번째가 그렇습니다.
저희는 사내 내부망에서 구동되는 대규모 모델을 직접 구축해 기술 지원과 일상적인 질의응답에 활용하고 있습니다. 시행착오를 한 바퀴 겪고 나서 얻은 가장 큰 수확은 오히려 “어떤 하드웨어를 사야 하는가”가 아니라, “로컬 AI가 느리고 멍청하다”고 느껴지게 만드는 대부분의 문제는 하드웨어가 부족해서가 아니라 설정이 잘못된 탓이라는 점이었습니다. 그리고 이 인식 차이가 수만 위안을 헛되이 쓸지 말지를 바로 결정합니다.
첫째: 먼저 스스로 구축해야 하는지부터 확인하세요
자가 구축은 기본 선택지가 아닙니다. 대부분의 기업은 사실 온라인 API를 쓰는 편이 더 경제적입니다. 자가 구축은 다음 몇 가지 경우에만 성립합니다:
- 데이터가 정말로 내부망을 벗어날 수 없는 경우. 고객 정보, 계약서, 도면, 코드, 재무 데이터가 관련되거나, 업종 자체에 컴플라이언스 요구사항이 있는 경우입니다. 이것이 자가 구축의 가장 확실한 이유이며, 사실상 유일하게 “계산할 필요가 없는” 이유입니다.
- 장기적이고, 사용 빈도가 높고, 여러 명이 사용하는 경우. 가끔 몇 번 쓰는 정도라면 API 비용은 무시할 수 있을 만큼 저렴합니다. 하지만 수십 명이 매일 쓰고, 게다가 업무 시스템에 연동해 대량 작업까지 돌린다면 계산을 다시 해야 합니다.
- 장기적인 안정성과 통제 가능성이 필요한 경우. 온라인 서비스는 모델을 조정하고, 가격을 바꾸고, 버전을 종료합니다. 자가 구축한 모델은 그 자리에 있으면 변하지 않으므로, 장기적인 일관성이 필요한 상황에서는 가치가 있습니다.
반대로 말하면: 단지 직원들이 문서를 쓰고 번역을 하는 정도이고 데이터도 민감하지 않다면 — 온라인 서비스를 바로 구매하세요. 한 달에 몇백 위안이면 되는 일입니다. 고생하지 마세요.
둘째: 하드웨어는 “좋은 그래픽카드 한 장 사는” 것처럼 간단하지 않습니다
이것이 가장 흔한 오해입니다. 많은 사람이 가장 비싼 그래픽카드를 고르면 된다고 생각하지만, 실제로 구동 가능 여부와 속도를 결정하는 것은 다른 두 가지 지표입니다:
- VRAM/메모리 용량 — “들어가느냐”를 결정합니다. 모델 파일이 큰 만큼 그에 맞는 공간이 필요합니다. 들어가지 않으면 구동되지 않으며, 연산 성능이 아무리 뛰어나도 소용없습니다. 이것은 “조금 느려지는” 문제가 아니라 넘을 수 없는 문턱입니다.
- 메모리 대역폭 — “글자가 빨리 나오느냐”를 결정합니다. 모델이 글자 하나하나를 생성할 때마다 관련 데이터를 한 번씩 옮겨야 하는데, 대역폭이 부족하면 연산 성능이 아무리 많아도 헛되이 기다리게 됩니다. 로컬 구축의 속도 병목은 대개 연산 성능이 아니라 대역폭에서 발생합니다.
모델을 고를 때는 직관에 반하는 철칙이 하나 있습니다: 전체 파라미터 수만 보지 마세요.
요즘 많은 모델이 채택한 구조는 “전체 파라미터는 크지만, 매번 실제로는 그중 일부만 호출하는” 방식입니다. 속도를 결정하는 것은 총량이 아니라 “매번 실제로 호출되는 부분”이 얼마나 큰가입니다. 따라서 전체량은 크지만 매번 일부만 쓰는 모델이, 전체량은 작지만 전부를 계산해야 하는 모델보다 몇 배나 빠를 수 있습니다. 모델 선정 시 이 두 숫자를 반드시 확인해야 하며, 총량만 보면 완전히 잘못된 판단을 하게 됩니다.
셋째: “느림”의 진범은 대개 하드웨어가 아닙니다
이 항목은 저희가 가장 많은 시간을 들여서야 깨달은 것이며, 가장 값진 내용입니다.
구축을 마친 뒤 동료들이 “너무 느리고 쓸 만하지 않다”고 피드백했습니다. 첫 반응은 장비가 부족하니 돈을 더 들여 업그레이드해야 한다는 것이었습니다. 그런데 하나씩 점검해 보니, 세 번의 “느림” 중 단 한 번도 하드웨어 문제가 아니었습니다:
- 진범 1: 힘을 전부 “생각”에 쏟고, 마지막에 출력이 없습니다. 신세대 모델은 대부분 “심층 사고” 기능이 있고, 기본값이 켜져 있을 수 있습니다. 그 결과 내부 추론에 막대한 시간과 연산을 소모하고, 정작 오래 기다린 끝에 받은 본문은 비어 있습니다. “멈춘 것처럼” 보이지만 실제로는 파라미터가 맞지 않은 것입니다.
- 진범 2: 실제로는 답했지만, 답이 엉뚱한 곳에 들어갔습니다. 이쪽이 더 은밀합니다 — 모델은 정상적으로 출력했지만, 특정 파싱 설정 때문에 본문이 전부 “사고 과정” 필드로 분류되고, 정작 본문 필드는 비어 있는 경우입니다. 겉으로 드러나는 증상은 첫 번째와 완전히 같아서 “모델이 안 좋다”고 오판하기가 매우 쉽습니다.
- 진범 3: 느린 것은 “첫 글자”이지, 전체 속도가 아닙니다. 사용자가 체감하는 빠르고 느림은 주로 질문에서 첫 글자가 튀어나올 때까지의 대기 시간에서 오며, 그 이후의 출력 속도가 아닙니다. 저희는 반복되는 내용에 대한 캐시 최적화를 하나 켠 뒤, 이 대기 시간이 십몇 초에서 2초 미만으로 줄었습니다 — 하드웨어는 전혀 건드리지 않았습니다.
따라서 “로컬 AI가 느리다”는 상황을 만나면 올바른 순서는 먼저 설정 문제인지 확인하고, 그다음에 하드웨어 증설을 고려하는 것입니다. 순서가 뒤바뀌면 수만 위안을 써도 문제는 그대로 남아 있을 수 있습니다.
또 하나 빠지기 쉬운 함정이 있습니다: 일부 “최적화 파라미터”는 특정 하드웨어에서는 오히려 역효과를 냅니다. 저희는 일반적인 권장 사항에 따라 파라미터 하나를 키웠다가, 오히려 기본값보다 거의 절반이나 느려졌습니다. 어떤 튜닝이든 반드시 자사 장비에서 실측 비교해야 하며, 인터넷의 권장 사항을 그대로 옮겨 쓰지 마세요.
넷째: 비용을 제대로 한 번 계산해 보세요
자가 구축의 비용은 장비 구매비만이 아닙니다:
| 비용 항목 | 자가 구축 | 온라인 API |
|---|---|---|
| 초기 투자 | 일회성 장비 지출, 수만 위안부터 | 거의 없음 |
| 사용 비용 | 전기요금만 발생, 많이 쓰든 적게 쓰든 차이가 크지 않음 | 사용량 기반 과금, 쓸수록 비싸짐 |
| 운영 인력 | 가장 과소평가되기 쉬운 항목: 구축, 튜닝, 업그레이드, 장애 대응 모두 사람이 필요 | 거의 관리할 필요 없음 |
| 데이터 보안 | 데이터가 내부망을 벗어나지 않음 | 서비스 제공업체 약관에 따라 다름, 민감 데이터는 주의 필요 |
| 성능 업데이트 | 새 모델 교체를 직접 따라가야 함 | 자동으로 새 버전 사용 |
가장 빠뜨리기 쉬운 계산이 바로 운영 인력입니다. 장비를 사는 것은 시작일 뿐입니다. 환경 설치, 파라미터 조정, 모델 업데이트, 문제 발생 시 점검까지 모두 전문가가 필요합니다. 회사에 그런 사람이 없다면, 아웃소싱을 하거나, 아니면 이 장비는 서서히 전산실 구석에서 아무도 손대지 못하는 기계가 될 것입니다.
권장 경로: 처음부터 장비를 사지 마세요
먼저 온라인 서비스를 한두 달 사용해 보면서 “어떤 업무에 실제로 사람들이 쓰는지, 얼마나 자주 쓰는지, 민감한 데이터가 관련되는지”를 파악하십시오. 이 단계에서 드는 비용은 거의 없지만, 대부분의 충동적인 결정을 막아줍니다.
“실제로 사용 빈도가 높고 + 데이터를 외부로 내보낼 수 없다”는 점이 확인되면, 검증된 실제 수요에 맞춰 장비를 선택하십시오. 이때는 어느 정도 규모의 모델을 돌리고 몇 명이 동시에 사용할지 알고 있으므로 선택이 훨씬 정확해지고, 쓰지도 않을 성능에 돈을 낼 일도 없습니다.
자주 묻는 질문
Q: 로컬 구축의 성능은 온라인 대형 모델과 얼마나 차이가 나나요?
A: 많은 분이 생각하는 것보다 차이는 작습니다. 특히 질의응답, 요약, 문서 처리, 코드 작성 같은 일상적인 업무에서는 더욱 그렇습니다. 다만 최고 수준의 추론 능력은 여전히 가장 큰 온라인 모델이 갖고 있습니다. 실용적인 방법은 용도를 나누는 것입니다. 민감한 데이터와 고빈도 업무는 로컬에서, 가끔 발생하는 고난도 업무는 온라인에서 처리하십시오.
Q: 전담 인력을 따로 두어야 하나요?
A: 일상 운영에는 매일 누가 지켜볼 필요는 없지만, 구축·최적화·업그레이드 시점에는 전문가가 필요합니다. 중소기업에서는 IT 서비스 업체와 함께 관리하는 방식이 일반적입니다. 서버와 네트워크와 같은 운영 업무에 포함시키는 것이 별도 인력을 두는 것보다 현실적입니다.
Q: 데이터를 자체 장비에 두면 무조건 안전한가요?
A: 그렇지 않습니다. 로컬 구축이 해결하는 것은 “데이터가 회사 밖으로 나가지 않는 것”입니다. 그러나 사내 접근 권한, 로그 보관, 누가 무엇을 조회할 수 있는지는 여전히 별도로 설계해야 합니다. 내부 AI를 전 직원에게 그대로 개방했다가 민감한 문서가 아무렇게나 검색된 사례도 보았습니다.
Q: 지금 도입하면 너무 이르고, 2년 뒤에는 장비가 구식이 되지 않을까요?
A: 타당한 우려입니다. 그래서 “AI를 도입하기 위해서”가 아니라 실제적이고 지속적인 수요에서 출발할 것을 권합니다. 명확한 고빈도 업무가 있는 경우 지금 투자하면 지속적으로 가치를 창출할 수 있습니다. 무엇에 쓸지 아직 정하지 못했다면 기다리는 편이 확실히 낫습니다.
사내망에 AI를 도입할지 고민 중이지만, 가치가 있을지·어떻게 선택할지 확신이 없으신가요?
Siwenlide는 베이징 및 인근 지역 중소기업을 대상으로 IT 운영 아웃소싱과 네트워크 장비 패키지 서비스를 제공하며, 사내 AI의 선정·구축 및 이후 운영까지 지원합니다. 자체 구축이 필요한지 먼저 판단해 드리고, 실제 업무 시나리오에 맞춰 구성을 선택하며, 구축 후에는 최적화와 일상 유지보수를 운영 위탁에 포함시켜 장비만 사두고 관리할 사람이 없는 상황을 피합니다. 본문에 나온 시행착오는 저희가 직접 이 환경에서 하나씩 겪은 것입니다. siwenlide.com을 방문하시거나(또는 회사 소개를 먼저 확인하신 후) 400-686-2011로 연락해 상담해 주십시오.
