Robots协议编写规范与常见错误

robots协议是站点和搜索引擎之间的抓取规则声明，短短几行文字，写错了却会让收录全军覆没。这里把规范和常见错误一次说清。

基本语法：User-agent指定规则适用的爬虫，星号代表所有；Disallow和Allow声明禁止与允许的路径。规则按路径前缀匹配，顺序敏感，更精确的规则应该放在前面。

常见错误清单。一是路径写法错误，屏蔽目录要以斜杠结尾，屏蔽具体文件要写全路径，一个字符的差别结果完全不同。二是大小写敏感，URL路径的大小写必须与实际一致。三是误屏蔽资源文件，把CSS和JS也屏蔽了，导致搜索引擎无法正常渲染页面，影响质量评估。四是配置了屏蔽却忘了站内还有大量链接指向被屏蔽页面，形成抓取矛盾。

修改robots后用站长工具的robots检测功能逐条验证，确认目标地址的允许状态符合预期。另外robots文件要放在根目录，且保持可访问，返回错误状态码会让部分搜索引擎按全站允许处理。

robots是收录的总开关，任何抓取异常排查都应该先看它。