우리가 진짜 Googlebot을 차단할 뻔했다: 웹사이트 보안이 검색엔진과 AI 크롤러를 오탐하는지 확인하는 자체 점검(2026)
2026년 8월 12일
홈페이지에 자동 차단 기능을 붙이기 전에 먼저 관찰 모드(기록만 하고 실제로 차단하지 않음)로 돌려봤더니, ‘차단해야 할’ IP 30여 개 중 4개가 실제 Googlebot이었다. 그대로 켰다면 스스로 SEO를 망가뜨리는 셈이었고, 경고도 전혀 뜨지 않았을 것이다. 이 글에서는 빈도 기준으로 차단하면 왜 크롤러를 반드시 오탐하는지, 거의 회색지대가 없는 판별 특징 하나(404 비율 보기: 크롤러 ≈0%, 스캐너 87% 이상), 도메인에 google이 들어가는데 스캐너인 함정, 정·역방향 조회 검증의 올바른 세 단계, 그리고 중소기업이 매달 10분이면 끝내는 자체 점검표를 정리한다.