我们差点把真 Googlebot 封了:网站防护误伤搜索引擎和 AI 爬虫的自查(2026)
2026年8月12日
给官网加自动封禁前先跑了观察模式(只记录不真封),结果三十多个「该封」的IP里有4个是真Googlebot——直接开启就等于自己砸自己SEO,而且不会有任何报警。本文讲清:为什么按频率封必然误伤爬虫、一个几乎零灰色地带的判别特征(看404占比:爬虫≈0%,扫描器87%以上)、域名含google却是扫描器的坑、正反解验证的正确三步,以及中小企业每月十分钟的自查表。