Day: August 20, 2026

「우리 회사에서 AI를 직접 구축할 수 있을까요? 데이터를 외부로 보내고 싶지 않은데」——최근 가장 많이 받는 질문입니다. 가능합니다. 다만 장비에 돈을 쓰기 전에 네 가지를 먼저 따져야 합니다. ① 어떤 경우에 자체 구축이 정말 가치가 있는지(데이터가 내부망을 벗어날 수 없다는 것이 유일하게 계산할 필요가 없는 이유입니다) ② 하드웨어는 좋은 GPU 한 장만 사면 되는 것이 아니며, 성패를 가르는 것은 VRAM 용량과 메모리 대역폭이고, 모델 선택의 철칙은 파라미터 총량만 보지 않는 것입니다 ③ 가장 값진 한 가지: 저희가 세 번의 「느림」을 점검했지만 한 번도 하드웨어 문제가 아니었습니다——사고 모드를 끄지 않아 한참 기다린 끝에 빈 응답을 받거나, 출력이 엉뚱한 필드에 들어가거나, 진짜 느린 것은 첫 토큰 지연이었습니다(캐시를 제대로 켜면 십몇 초에서 2초 미만으로) ④ 운영 인력을 비용에 포함시키는 것입니다. 세 단계 권장 경로도 함께 제시합니다. 먼저 몇백 위안으로 온라인 서비스를 써서 시나리오를 검증하고, 그다음 몇만 위안을 쓸지 결정하세요.