기업 VPN 대안 비교: WireGuard vs IPSec vs OpenVPN 선정 가이드

암호화 커널의 세대 차이: 세 가지 프로토콜의 저층 설계 논리

IPSec은 1990년대에 등장했고, 설계 목표는 공용 인터넷 위에 신뢰할 수 있는 터널을 세우는 것이었습니다. IKEv1/IKEv2 핸드셰이크 프로토콜에 ESP(Encapsulating Security Payload) 캡슐화를 결합하며, 거의 모든 라우터와 방화벽, 스위치가 기본 지원할 만큼 성숙한 제품군입니다. 이런 ‘교과서적인’ 보안 아키텍처가 기업 감사 담당자에게 주는 안심은 실질적입니다. 로그에서 각 단계의 키 협상 세부 내역을 확인할 수 있으니까요. 그러나 다른 한쪽 면은 이렇습니다. 협상 과정이 복잡하고, 모바일, 특히 iOS/Android가 대칭 NAT를 통과할 때 추가 NAT-T 캡슐화가 필요한 경우가 많으며, 회의가 몰리는 시간대에 수백 대의 기기가 동시에 재접속하면 본사 출구 방화벽의 세션 테이블이 가득 찹니다. OpenVPN은 소프트웨어 정의 노선을 택했고, SSL/TLS 프로토콜 스택 기반이라 포트를 443에 바인딩할 수 있습니다. 이는 호텔이나 공항처럼 네트워크를 엄격하게 통제하는 환경에서 OpenVPN의 트래픽 특성이 HTTPS와 거의 같다는 뜻이며, 통과성은 세 가지 방식 중 가장 뛰어납니다. 순이의 한 물류 기업에서 OpenVPN으로 여섯 개 지사 전산실을 연결하는 모습을 본 적이 있는데, IT 책임자는 ‘네트워크 관리자가 이것이 VPN인지 알아채지 못하게 하는 게 목적’이라고 말했습니다. 대가는 OpenVPN이 사용자 공간에서 동작해 CPU 오버헤드가 커널 수준 방식보다 훨씬 크고, 200명 동시 접속 시 서버 부하가 뚜렷하다는 점입니다. WireGuard는 2020년에 Linux 커널에 정식 편입된 ‘신생아’입니다. Curve25519로 키 교환을, ChaCha20-Poly1305로 데이터 암호화를, Poly1305로 메시지 인증을 수행하는데, 암호학적 선택이 다소 ‘과감할’ 정도로 현대적입니다. 코드량은 IPSec의 일부에 불과합니다. 4만 줄 대 60만 줄이니 감사 비용이 낮고 공격 표면이 작다는 뜻입니다. 창핑의 한 제조 기업에서 실측한 적이 있는데, WireGuard 터널 수립 시간이 IPSec의 3~5초에서 1초 미만으로 줄었습니다. 문제는 IP 계층 외의 많은 기능을 지원하지 않고 내장 AAA 체계가 없어, 기업급 접근 제어를 별도의 fwmark나 서드파티 컨트롤러에 의존해야 한다는 점입니다.

통과성과 지연: 고객 현장에서 측정한 실제 데이터

테스트 환경: 50Mbps 가정용 회선 + 4G 이동통신망, 이좡 전산실에 위치한 VPN 게이트웨이에 접속, 테스트 도구는 iperf3와 ping을 사용했습니다. IPSec은 이동통신망에서 가장 안정적이며, 4G 환경 평균 지연은 38ms, 패킷 손실률은 0.3% 이내로 억제됩니다. 다만 오피스 빌딩의 고정 회선에서는 NAT 통과가 간간이 실패해 NAT-T를 수동으로 켜야 하고, 이 단계에서 비기술 출신 운영 담당자가 적잖이 막혔습니다. OpenVPN은 같은 환경에서 지연이 약간 높아 45-52ms이지만, 443 포트로 나가는 연결 성공률이 99%에 가까워 대학이나 병원처럼 네트워크 정책이 엄격한 곳에서도 거의 막히지 않습니다. WireGuard는 UDP 프로토콜에 묶여 일부 기업 방화벽이 비표준 UDP 포트를 기본 차단하지만, 지연은 오히려 가장 낮아 28-35ms이며, 전제는 방화벽에서 51820/UDP를 열었거나 53/UDP로 매핑할 의향이 있는 경우입니다. 처리량 테스트는 더 흥미롭습니다. iperf3 양방향 스트림으로 대역폭을 꽉 채울 때, IPSec은 전면 암호화로 AES-256-GCM에서 CPU 점유율이 가장 먼저 85%까지 치솟았고, OpenVPN은 사용자 공간 오버헤드 탓에 한계 처리량이 IPSec의 60% 정도에 그쳤습니다. 반면 WireGuard는 현대적 암호 알고리즘과 커널 바이패스에 힘입어 CPU 점유율이 25% 안팎을 유지하며 물리 대역폭의 94%까지 처리량을 냈습니다. 이 수치는 저 스스로도 다소 의외였습니다.

30명에서 300명까지: 세 가지 규모별 실제 구축 경로

이좡의 한 정밀기기 제조회사는 연구개발과 영업을 합쳐 32명이며, 전원 출근 근무로 원격 근무가 필요 없습니다. IT 예산이 한정적이어서 사장은 ‘1년 IT 투자는 5만 위안을 넘길 수 없다’고 했습니다. 이들이 쓰던 중국산 IPSec VPN 장비는 신입 직원을 연결하려면 자주 재부팅해야 했습니다. 제가 제안한 방식은 저사양 클라우드 서버에 WireGuard를 배포하고 wg-easy로 관리 UI를 구성하는 것이었습니다. 구축에 3시간이 걸렸고, 지금은 운영이 명령어 한 줄이면 끝납니다. 이 방식의 비용은 클라우드 서버 연 요금 2400위안, 관리 비용은 거의 0입니다. 퉁저우의 한 식품 가공 기업은 150명 규모로, 공장과 시내에 사무실이 각각 있고 재무와 창고 시스템이 모두 내부망에 있습니다. 생산 현장은 산업용 PLC를 쓰고 IP 대역이 특수해, 고객은 ERP 접속이 반드시 VPN 감사를 거쳐야 한다고 요구했습니다. 이런 환경에서 OpenVPN의 장점이 드러납니다. 어떤 사용자가 어떤 서브넷에 접근할 수 있는지 정밀하게 제어할 수 있고, 대역 라우팅 규칙이 설정 파일에 적혀 있어 한눈에 파악되며, 감사 시 로그를 그대로 내보낼 수 있습니다. 단점은 서버 설정이 다소 복잡하다는 점인데, 제가 Ansible 플레이북을 작성해 새 서버 초기화가 10분이면 끝나도록 했습니다. 이 방식은 1년 반 동안 운영했고 일평균 동시 접속 40-60으로 서버에 문제가 없었습니다. 차오양의 한 광고 미디어 회사는 280명으로 직원 이직이 잦고, 프로젝트 팀에 수시로 새 인력이 합류하며, 고객이 외지에서 촬영할 때 소재 라이브러리에 원격 접속해야 하는 일이 많습니다. 이전에 쓰던 IPSec은 모바일 경험이 나빠 ‘연결이 안 된다’, ‘연결돼도 파일 전송이 느리다’는 불만이 집중됐습니다. 최종안은 하이브리드 구조였습니다. 본사 출구는 IPSec으로 사이트 간 연결을 돌려 안정성을 확보하고, 프로젝트 팀 원격 접속은 WireGuard로, 클라이언트는 Tailscale로 mesh 네트워킹을 구성했습니다. 이렇게 하면 핵심 업무 트래픽은 성숙한 방식으로 리스크 없이 처리하고, 유연한 업무는 현대적 프로토콜로 제약 없이 처리할 수 있습니다. 단점은 두 네트워크의 계정과 비밀번호를 각각 관리해야 한다는 것인데, 이후 Keycloak으로 통합 SSO를 구성해 엔지니어가 QR 코드를 스캔하면 터널에 들어갈 수 있게 했습니다.

1. 30-50명, 예산 민감·모바일 근무 적음 → WireGuard + wg-easy / self-hosted, 연 비용 3000위안 이내
2. 50-150명, 다지역 연결·강한 감사 요구 → OpenVPN + Ansible 자동화, 통과성과 컴플라이언스 동시 확보
3. 150-300명, 하이브리드 근무·높은 동시 접속 → IPSec으로 사이트 백본 구성 + WireGuard로 원격 엔드포인트 커버, 또는 제로 트러스트 방식을 바로 검토

제로 트러스트라면, 200명을 넘는 기업은 sTrust 제로 트러스트 솔루션을 바로 검토하시길 권합니다. 전통 VPN의 고질적인 문제는 ‘일단 들어오면 전부 통과’라는 점이고, 제로 트러스트는 ‘기본적으로 불신, 지속적 검증’입니다. 인력 이동이 잦은 회사라면 계정을 닫는 순간 연결이 끊기므로, 퇴사자가 여전히 내부망에 접속할까 걱정할 필요가 없습니다.

선정 체크리스트: 결정 요인은 대개 기술 자체가 아닙니다

기술 비교는 잠시 접어두고, 선정에 실제로 영향을 주는 것은 대개 사람과 프로세스입니다. 스징산에서 한 국유기업을 지원한 적이 있는데, 고객은 ‘VPN 로그를 감사 대비로 3년간 보관해야 한다’고 분명히 말했습니다. 이는 OpenVPN이냐 WireGuard냐의 문제가 아니라, 어느 쪽 로그 형식이 MLPS 요구사항에 더 부합하고 어느 쪽이 syslog 전송을 지원하느냐의 문제입니다. 이 회사는 결국 Sangfor VPN 하드웨어를 선택했는데, 성능이 가장 좋아서가 아니라 즉시 사용 가능한 MLPS 컴플라이언스 패키지가 있었기 때문입니다. 또 하나 자주 나타나는 장애물은 조직 내부의 ‘경로 의존성’입니다. 어떤 회사의 ERP 시스템은 15년 전에 IPSec 기반으로 설계되어, 프로토콜을 바꾸면 업무 시스템 개조를 뜻합니다. 이런 비용은 기술 선정만으로 감당할 수 없습니다. 저는 보통 고객에게 묻습니다. 이번 선정에 개조 비용을 얼마나 투입할 의향이 있습니까? 0이라면 기존 아키텍처를 최적화하고, 신기술을 쫓다가 스스로 함정을 파지 마십시오. 마지막으로 업계 트렌드 하나. WireGuard는 빠르게 엔터프라이즈화되고 있습니다. Tailscale, Netmaker, WireGuard Operating System 같은 상용 배포판이 네이티브 버전에 없던 AAA와 중앙 관리 기능을 해결했습니다. 지금 선정을 진행한다면 WireGuard 기반 상용 솔루션과 전통적인 IPSec/OpenVPN을 같은 평가 매트릭스에 올려놓고 비교하시길 권합니다. 3년 뒤 이 시장은 달라질 것입니다.