资深博主万风,长期提供【SEO优化技术在线分享】,感谢大家的支持。 解答各行业SEO问题、免费提供网站诊断分析 博主QQ:2947758203

用robots屏蔽哪些目录和文件

SEO教程 哈尔滨SEO 364次浏览

SEOer都知道robots可以屏蔽蜘蛛抓取,可是用robots屏蔽哪些目录和文件?搜索引擎俗称蜘蛛,它顺着并跟踪链接爬行,抓取的是网站的信息。信息包括文字、图片、文件、链接、数据库、CSS、JS、等信息。

 

用robots屏蔽哪些目录和文件

 

需要我们屏蔽的信息包括

1)、图像目录类

模板类同是影响优化的,它也属于重复性垃圾内容,如何模板来自网上,而不是自己写的,为了避免这个地方带来的影响,做模板目录下的image或者img屏蔽。
否则即使收录,在这点上对排名的帮助也是没有的。

2)、网站模板目录类
CMS的大量应用,也是导致大量同质化网站的原因,这些模板里的信息高度相似,对搜索引擎很不友好,严重的直接拉黑。因此tlemplets模板文件夹一般是屏蔽的。
而且抓取了里面的文件对排名无助。

3)、css、js目录类屏蔽

CSS目录的文件只是用来美化页面,在搜索引擎用户查找信息上并没有价值贡献,因此应在robots.txt屏蔽,通过屏蔽它来节约搜索引擎服务器资源消耗,营销友好+良好的抓取环境。
这类信息目录一般是css或者style。

js文件搜索引擎不能识别,因此抓了没有意义还浪费资源,因此js文件应屏蔽,作用也是营造友好的抓取环境。

4)、屏蔽一个页面对于两个链接类的内容
织梦制作的网站,可以用1对2访问,也就是动态和静态2个链接同时可访问对应一个页面,而正常应当1对1关系,强调链接地址唯一性。
因此,robots中应屏蔽掉动态路径。一方面更加友好,利于抓取收录,另一方面两个链接都可以访问同一页面,搜索引擎认为抓到雷同重复
页面。重复的页面即垃圾页面,保存浪费资源,对搜索者提供同样页面也无意义。

5)、模板的缓存类目录

CMS程序为提升访问速度,建有缓存目录,这方便了访问提升了速度,不过缓存目录导致了搜索引擎重复抓取而且抓的是一样的内容,内容重复这对SEO不利。

6)、死链接类目录

死链接可以使用浏览器的死链接插件进行检测,并在robots中屏蔽掉。它多了会严重影响搜索引擎的印象分。

7)、网站后台目录
后台被抓取本身是影响安全的,但是直接写到robots.txt中又会暴露给黑客后台方位地址,因此可以技巧性的写在robot中。

总结:robots屏蔽哪些目录和文件可归纳为三类,不利于SEO,无助于SEO和网站隐私权范围内不宜公开的信息。


本文读者还阅读了以下内容
喜欢 (0)