资深博主万风,长期提供【SEO优化技术在线分享】,感谢大家的支持。 解答各行业SEO问题、免费提供网站诊断分析 博主QQ:2947758203

robots指定蜘蛛和不允许某文件夹的写法

SEO教程 哈尔滨SEO 424次浏览

robots有很多写作规则,下面写2个具体实例,希望定义哪个蜘蛛怎么写,以及定义对这个蜘蛛禁止某个文件夹时候要怎么书写。

robots指定蜘蛛和不允许某文件夹的写法

1,什么是robots
robots是我们网站不可获取的定义访问蜘蛛的文件,可以定义蜘蛛访问规则,也就是哪些页面可访问,哪些页面不可访问。

2,定义所有还是某一个蜘蛛

如果想所有的蜘蛛遵循我们的协议
写作:User-agent:*
如果想百度蜘蛛遵循我们的协议,写作:User-agent: baiduspider
如果想谷歌蜘蛛遵循我们的协议,写作:User-agent: googlebot
这样就能帮助所有蜘蛛、百度蜘蛛或谷歌蜘蛛来识别和遵循robots协议的内容,来爬行我们的网站。

3,定义具体的两个蜘蛛的robots规则的写法

定义两遍,
User-agent:baiduspider
Disallow: /include
User-agent:googlebot
Disallow: /media

定义具体的两个蜘蛛的robots规则的写法

这样就定义了2条规则,告诉百度蜘蛛不允许访问我的include文件夹,告诉谷歌蜘蛛不允许抓取我的media文件夹。


本文读者还阅读了以下内容
喜欢 (1)