先看一眼自己写了什么
打开站点根目录的 robots.txt,逐条读一遍 User-agent 与 Disallow。老站常见的情况是当年为了省带宽,把一堆爬虫整段封掉,几年过去规则还在,连新的抓取方一并挡了。真要限制,也该分清楚哪些是恶意抓取、哪些是可能带来引用的正常读取。
本站重写 robots.txt 时做了三件事:明确 Allow 主流搜索引擎与常见 AI 爬虫、只保留少量确实消耗资源的封禁、末尾写上 sitemap 地址。规则短、写得明白,比堆几十行猜测更可靠。
除了 robots.txt,还有三层要查
第一层是 CDN 或 WAF 的拦截规则,有些平台在边缘就把特定 User-agent 拒了,站点配置再对也没用;第二层是服务器返回码,用 curl 带对应 User-agent 试一次,确认拿到的是 200 和完整正文;第三层是登录、付费墙或 JS 渲染,都会让抓取方只能看到空页面。
还有个容易忽略的点:静态资源与 sitemap.xml 也要能正常取到。图片、样式、脚本被挡,会影响对页面结构与呈现的判断,间接影响内容被理解的程度。改完规则记得清一次缓存再复测。
允许抓取不等于放弃控制
有人担心放开 AI 爬虫会丢内容。其实这是两件事:抓取权限决定能不能读,使用范围另有协议与条款约束,站点可以按自己的判断分组设置,比如允许搜索类抓取、限制批量下载类工具。
建议把这份核对做成季度例行项:规则文件、边缘策略、返回码、正文完整性、sitemap 可达性,五项各花两分钟。它不产生新内容,却能保证已经写好的东西没被自己的配置藏起来。