먼저 저희를 소개하겠습니다. 저희는 베이징의 Siwenlide이고, 회사는 순이구에 있으며, 기업 IT 운영, 네트워크 장비 패키지, 약전(저전압) 및 배선 공사를 14년간 해 왔습니다. 이 글은 SEO/GEO 시리즈의 35번째 글입니다. 이번 글에서는 다소 보기 좋지 않은 사실 하나를 인정하려 합니다. 지난 4주 동안 저희는 36편의 글을 발행했지만, Toutiao Search의 색인 수는 48에서 멈춰 있고 한 건도 늘지 않았습니다.
앞선 34편에서는 순위를 확인했고, 인용을 확인했고, AI가 왜 저희를 추천하지 않는지도 확인했습니다. 오늘 확인할 것은 그보다 더 앞 단계입니다. 콘텐츠를 내보냈는데 검색엔진이 그것을 실제로 수집했는가 하는 점입니다. 이 단계가 뚫리지 않으면 뒤의 모든 일은 헛돌 뿐입니다.
세 가지 수치를 함께 보기
| 지표(Toutiao 웹마스터 플랫폼) | 8월 하순 | 9월 중하순 | 어떻게 읽어야 하나 |
|---|---|---|---|
| 색인 수 | 48 | 48 | 4주 동안 한 건도 늘지 않음 |
| 일일 크롤링 횟수 | 87~104 | 27~49 | 약 절반으로 감소 |
| 노출 수 | 8월에 간간이 몇 번 있었음 | 마지막 데이터가 8월 말에 멈춤 | 거의 노출된 적이 없음 |
같은 기간 저희 쪽에서는 이런 일을 했습니다. 사이트맵에 341개의 주소가 있고, 글은 275편이며, 8월 27일 이후 새로 발행한 글은 36편이고, 각 글은 발행 후 모두 직접 제출했습니다. 제출은 했지만 수집이 따라오지 않았습니다.
가장 직접적인 검증: 이번 주에 발행한 비즈니스 페이지 다섯 편의 제목을 그대로 Toutiao Search에 넣어 검색해 보니, 한 편도 저희 자신이 검색되지 않았습니다. 대조 삼아 회사명을 검색해 보니 저희가 3위에 나왔습니다. 검색 자체와 계정은 정상이라는 뜻입니다. 0은 0이며, 잘못 조회한 것이 아닙니다.
제출, 크롤링, 색인, 노출은 서로 다른 네 가지 일
많은 사람이 “제출했다”를 “수집됐다”로 착각합니다. 그 사이에는 사실 네 개의 관문이 있고, 어느 하나라도 통과하지 못하면 뒤의 일은 일어나지 않습니다.
- 제출: 검색엔진에 주소를 알려 주는 단계입니다. 이 단계는 전적으로 본인이 통제하며, 했으면 한 것입니다.
- 크롤링: 검색엔진이 크롤러를 보내 페이지를 읽는 단계입니다. 웹마스터 플랫폼에서 하루에 몇 번 크롤링했는지 확인할 수 있습니다. 저희는 하루 약 100회에서 40회 안팎으로 줄었습니다.
- 색인: 읽은 뒤 데이터베이스에 저장할지 결정하는 단계입니다. 이 단계는 검색엔진이 선택하는 것이지, 우리가 선택하는 것이 아닙니다. 저희가 막혀 있는 지점도 바로 여기입니다.
- 노출: 누군가 관련 검색어를 검색할 때 해당 페이지를 결과에 넣는 단계입니다. 저장됐다고 해서 노출되는 것은 아닙니다.
저희의 상황은 이렇습니다. 제출은 정상, 크롤링은 감소, 색인은 정체, 노출은 거의 없음입니다. 크롤링 횟수가 절반으로 줄었다는 점 자체도 주목할 만합니다. 크롤러가 덜 오는 것은 보통 와 봐도 저장할 만한 새로운 것이 없다고 판단하기 때문이며, 이는 악순환입니다.
왜 48이라는 숫자인가
48이라는 숫자는 많은 것을 말해 줍니다. 저희 사이트맵에는 341개의 주소가 있는데 색인된 것은 48개뿐입니다. 이 48개를 살펴보면 거의 모두 몇 년 전부터 존재하던 오래된 페이지이며, 주요 키워드 1페이지에 계속 올라와 있는, 제목이 아직 구버전인 페이지도 포함되어 있습니다. 새 콘텐츠는 거의 선택되지 않았습니다.
떠올릴 수 있는 원인은 몇 가지인데, 저희는 어떤 것이 이미 배제되었고 어떤 것이 아직 불확실한지만 말씀드릴 수 있습니다.
- 제출하지 않은 것이 아님: 사이트와 사이트맵은 4월 말에 제출했고, 매일 크롤링되고 있으며, 새 글도 발행 후 개별적으로 제출했고 플랫폼은 모두 “제출 성공”을 반환했습니다.
- 열리지 않는 것이 아님: 각 글을 발행한 뒤 브라우저 사용자 에이전트로 한 번씩 접속해 200 응답을 확인했고, 내부 링크도 하나씩 점검했습니다.
- 콘텐츠 형태일 가능성: 색인된 오래된 페이지는 대부분 서비스 소개 페이지이고, 새로 발행한 것은 대부분 장문 글입니다. 다만 이는 추측일 뿐 증거는 없습니다.
- 사이트 가중치일 가능성: 한 사이트가 검색엔진에서 “저장할 가치가 있는 페이지 수”에는 자체적인 상한이 있는데, 저희는 계속 그 한계를 넘지 못하고 있습니다.
이 일이 AI 추천에 미치는 영향
Toutiao Search는 Doubao의 검색 소스 중 하나입니다. 색인이 움직이지 않으면 직접적인 결과는 이렇습니다. 저희가 새로 쓴 내용을 Doubao가 거의 활용하지 못합니다. 이번 주 저희는 방금 발행한 비즈니스 페이지 두 편에 대응하는 질문을 Doubao와 다른 AI 한 곳에 일부러 물어보았습니다. 결과는 두 AI 모두 이번 주에 새로 발행한 글을 하나도 인용하지 않았습니다. 다른 AI는 두 질문에 각각 10개의 인용 출처를 제시했는데, 20개 중 저희 공식 홈페이지에서 온 것은 하나도 없었고, 전부 기업 디렉터리, 분류 정보 사이트, 몇 년 전의 업체 페이지였으며 가장 오래된 것은 2014년에 게시된 것이었습니다.
부수적으로 발견한 측정 편향: AI가 우리가 누구인지 알아차렸다
오늘 모니터링 관련 질문을 했을 때 Doubao의 처리 기록에 이런 두 문장이 있었습니다. “검색 결과에 Siwenlide의 공식 홈페이지가 나타난 것을 확인했습니다”, “Siwenlide 공식 홈페이지를 보면 귀사가 직접 약전 및 보안(방범) 공사 서비스를 제공한다고 되어 있어, 이 점을 결론에 명시하겠습니다”. 그리고는 다른 업체 몇 곳을 추천하고 저희는 명단에서 제외했습니다.
나흘 전 같은 종류의 질문을 했을 때도 비슷한 말을 한 적이 있습니다. 귀사 자체가 약전 공사를 하는 서비스 제공업체로 확인되었고, 자기 사무실에 설치하는 것이라면 자체 체계로 진행하는 것이 가장 순조롭다는 내용이었습니다.
이는 저희 자체 측정 데이터에 일부 노이즈가 섞여 있다는 뜻입니다. 저희는 회사 계정으로 로그인한 뒤 질문했고, AI는 질문자가 누구인지 알고 있었기 때문에 저희 페이지를 후보 답안이 아니라 “본인 집의 자료”로 취급했습니다. 실제 잠재 고객은 이렇게 질문하지 않으며, 그들이 보는 결과는 저희가 보는 것과 다를 수 있습니다.
이 점은 자기 회사를 스스로 측정하는 누구에게나 똑같이 적용됩니다. 자기 계정으로 물으면 얻는 답이 고객이 보는 답과 같지 않습니다. 실제에 더 가까운 방법은 로그아웃 상태로, 또는 한 번도 로그인한 적 없는 다른 기기로 다시 물어보고 양쪽을 비교하는 것입니다.
이 편향은 이 글의 주요 결론에는 영향을 주지 않습니다. 색인 수가 48에서 멈춘 것, 크롤링이 절반으로 줄어든 것, 새 글 다섯 편의 제목이 검색되지 않는 것, 이 세 가지는 모두 웹마스터 플랫폼과 일반 검색에서 나온 것으로 로그인 상태와는 무관합니다.
이는 앞선 글들에서 반복적으로 나타난 현상도 설명해 줍니다. Doubao는 순이구 관련 질문에 답할 때는 저희가 9월 초에 발행한 페이지를 인용했지만, 새로운 주제에 답할 때는 전부 다른 곳의 오래된 페이지를 인용했습니다. 저희가 쓴 글을 싫어하는 것이 아니라, 그쪽에 아예 없기 때문입니다.
앞으로 어떻게 할 계획인가
- 자동 수집 코드 설치: Toutiao 웹마스터 플랫폼은 페이지에 삽입하는 코드 한 조각을 제공하는데, 사용자가 페이지를 열 때마다 주소를 능동적으로 한 번씩 푸시해 주므로 일괄 제출보다 더 신속합니다. 현재 “색인에 들어가지 못하는” 문제에 대해 움직일 수 있는 유일한 수단이라, 우선 설치할 계획입니다.
- 수량을 늘려 해결하지 않음: 4주 동안 36편을 써서 얻은 것이 색인 제로 성장이라면, 수량을 계속 쌓는 것은 의미가 없습니다. 앞으로는 실제로 검색하는 사람이 있는 소수의 키워드에 힘을 집중하겠습니다.
- 오래된 페이지를 자산으로 취급: 색인되는 것이 오래된 페이지라면, 이 수십 개의 오래된 페이지 제목과 내용을 정확하게 고쳐서 올바른 질문에 답하도록 하는 것이지, 새 페이지가 끼어들기를 기대하는 것이 아닙니다.
- 2주 후 이 세 가지 수치를 다시 확인: 색인 수, 일일 크롤링 횟수, 노출 수입니다. 효과가 있는지는 수치가 말해 줄 것입니다.
콘텐츠를 운영하고 있다면 이 세 가지 지표는 매주 한 번씩 확인할 가치가 있습니다.‘몇 편을 발행했는지’와 ‘몇 위인지’만 보면 중간 단계를 놓치게 됩니다. 아무리 많이 발행해도 색인에 저장되지 않으면 순위를 논할 수 없습니다. 대부분의 검색 플랫폼은 웹마스터 백오피스에서 색인 수량과 크롤링 횟수를 확인할 수 있으며, 사이트 구축 후 10분만 투자해 한 번 연동해 두면 됩니다.
자사 공식 웹사이트가 몇 페이지나 수록되었는지 궁금하신가요?
Siwenlide는 14년간 기업 IT 운영과 네트워크 장비 패키지 사업을 해왔으며, 이 시리즈는 저희가 직접 GEO를 수행한 실측 기록으로, 좋은 결과든 좋지 않은 결과든 모두 기록합니다. 기업 네트워크, 약전(저전압) 및 배선 공사, IT 운영 관련 요구사항은 편하게 문의하실 수 있습니다. 전화 400-686-2011.
시리즈 이전 글:금요일에 첫 페이지에서 밀려났다가 월요일에 1위(제34편) · 여섯 개 업종 중 검색엔진이 인정하는 것은 단 하나 · 자신의 글 제목을 그대로 검색해 보기 · 정상으로 보이지만 실제로는 작동하지 않는 공식 웹사이트의 숨은 오류 5가지
