资深博主万风,长期提供【SEO优化技术在线分享】,感谢大家的支持。 解答各行业SEO问题、免费提供网站诊断分析 博主QQ:2947758203

详解robots带斜杠和不带斜杠的区别

SEO教程 哈尔滨SEO 480次浏览

细心的SEOer也许会发现一个问题,有些站长在书写robots时,比如:这样一行Disallow: /include,它会在文件夹后面再加个斜杠为Disallow: /include/。那么,加斜杠和不加斜杠有什么区别呢?

详解robots带斜杠和不带斜杠的区别

1、robots规则中Disallow: /include/带斜杠
仅仅不允许蜘蛛抓取文件夹下的文件,但文件夹下的子文件夹里的内容是可抓取的。

2、robots规则中Disallow: /include不带斜杠
不允许这只蜘蛛抓取这个文件夹下的所有文件,包括这个文件夹下的文件夹。

总结差别:、robots规则中Disallow: /include带斜杠,仅仅不允许抓取当前文件夹下的文件,而文件夹下的子文件夹是可以被抓取的;不带斜杠,意味着当前文件夹下的所有文件和子文件夹都不允许被抓取。


本文读者还阅读了以下内容
喜欢 (0)