AI 크롤러가 정말 우리 사이트에 왔을까? 서버 로그로 확인하는 방법과 우리가 직접 찾아낸 두 가지 함정(2026)
2026년 8월 18일
「AI가 우리를 어떻게 보는가」에 대한 대부분의 판단은 간접적인 추측일 뿐입니다. 직접적인 증거는 서버 로그뿐입니다. 누가 왔는지, 몇 번 왔는지, 어떤 페이지를 가져갔는지, 우리 쪽에서 막아서 못 들어갔는지까지 로그에 남습니다. 이 글에서는 세 단계 확인 방법(각 크롤러의 수집량 집계/상태 코드로 차단 여부 확인/핵심 페이지를 가져가는지 확인)을 제시하고, 이 방법으로 자사 사이트를 점검하며 찾아낸 두 가지 함정을 함께 정리했습니다. ①robots 파일에 등록된 6개 사이트맵 주소가 전부 무효였습니다. 리다이렉트 후 반환되는 것은 XML이 아니라 웹페이지였고, 실제로 유효한 주소는 아예 등록되어 있지 않았습니다. 결국 모든 크롤러가 잘못된 목록을 받아간 셈입니다. ②한 검색엔진 크롤러가 이미 존재하지 않는 옛 주소 구조를 기준으로 404를 대량으로 발생시키며 수집 할당량을 낭비하고 있었습니다. 10분 자가 점검 체크리스트도 함께 제공합니다.