robots.txt 与爬虫管理

robots.txt 表达访问偏好，不是安全控制。敏感内容必须通过认证和授权保护，不能只依赖 Disallow。

验证

检查 robots 语法、CDN/WAF 规则、页面匿名访问和服务器日志。不要伪装 Googlebot 或 AI 爬虫 User-Agent 来证明真实机器人可访问；需要结合官方 IP/反向 DNS 规则和真实日志验证。

不同爬虫的用途可能不同，应按平台官方文档决定是否允许，并保留变更记录。