资深博主万风,长期提供【SEO优化技术在线分享】,感谢大家的支持。 解答各行业SEO问题、免费提供网站诊断分析 博主QQ:2947758203

robots.txt文件语法解读案例

SEO教程 哈尔滨SEO 370次浏览

学习了robots知识,不等于能够将它写好,在实际撰写过程中还会遇到问题,需要一些实际案例讲解帮助理解。

 

robots.txt文件语法解读案例

 

以下是robots.txt文件的语法解读案例??淘宝robots.txt。

案例:

User-agent:? Baiduspider
Allow:? /article
Allow:? /oshtml
Allow:? /wenzhang
Disallow:? /product/
Disallow:? /

定义百度蜘蛛,不允许网站根目录下所有文件的抓取,但允许article、oshtml、wenzhang三个开头目录和文件。
禁止访问/product/下的所有文件。

User-Agent:? Googlebot
Allow:? /article
Allow:? /oshtml
Allow:? /product
Allow:? /spu
Allow:? /dianpu
Allow:? /wenzhang
Allow:? /oversea
Disallow:? /

定义谷歌蜘蛛,不允许抓取所有的,但article、oshtml、product、spu、dianpu、wenzhang、oversea开头的文件及
文件夹允许访问

User-agent:? Bingbot
Allow:? /article
Allow:? /oshtml
Allow:? /product
Allow:? /spu
Allow:? /dianpu
Allow:? /wenzhang
Allow:? /oversea
Disallow:? /

定义必应蜘蛛,不允许抓取所有的,但article、oshtml、product、spu、dianpu、wenzhang、oversea开头的文件及
文件夹允许访问

User-Agent:? 360Spider
Allow:? /article
Allow:? /oshtml
Allow:? /wenzhang
Disallow:? /

定义360蜘蛛,不允许抓取所有的,但允许article、oshtml、wenzhang开头的文件及
文件夹允许访问

User-Agent:? Yisouspider
Allow:? /article
Allow:? /oshtml
Allow:? /wenzhang
Disallow:? /

定义一搜蜘蛛,不允许抓取所有的,但允许article、oshtml、wenzhang开头的文件及
文件夹允许访问

User-Agent:? Sogouspider
Allow:? /article
Allow:? /oshtml
Allow:? /product
Allow:? /wenzhang
Disallow:? /

定义搜狗蜘蛛,不允许抓取所有的,但允许article、oshtml、product、wenzhang开头的文件及
文件夹允许访问

User-Agent:? Yahoo!? Slurp
Allow:? /product
Allow:? /spu
Allow:? /dianpu
Allow:? /wenzhang
Allow:? /oversea
Disallow:? /

定义雅虎蜘蛛,不允许抓取所有的,但允许product、spu、dianpu、wenzhang、oversea开头的文件及
文件夹允许访问

User-Agent:? *
Disallow:? /
除了上面提到的蜘蛛,其他所有蜘蛛不允许抓取。

总结:robots.txt文件的语法解读案例您读懂了么。搜索引擎访问前会第一时间读取robots,如果这里没写对,蜘蛛就会抓取不该抓的,和该抓的却没有爬行。写对了,可以更好的引导蜘蛛,帮助蜘蛛做有效功,避免资源浪费而增加友好度,屏蔽死链和无价值网页。


本文读者还阅读了以下内容
喜欢 (0)