2020年,你需要一个全网通用的网站平台

新县SEO分享seo教你适时的拒绝蜘蛛

编辑:新县新城建站 关注: 时间:2019-12-09 11:07:34


温馨提示:专业网站建设、小程序制作、APP开发,尽在新城建站,详询 15544599750(手机、微信、QQ同号)

  seo做的是使搜索引擎快速索引页面,从而增加权重和访问量。由此站长喜欢蜘蛛将网站爬个遍,吃个透。但是让蜘蛛肆无忌惮的去爬行真的就有益于网站优化吗?很多站长在robotts.txt文本中可能除了ADMIN、DATA目录限制蜘蛛爬行,其他目录任蜘蛛索引。笔者要说,做网站优化除了一些安全目录外再应适度屏蔽一些目录,禁止搜索引擎的索引是有益无害的。

一、图片目录的屏蔽

  图片是构成网站组成的主要元素,然而主题模板中类似的图片在搜索引擎中铺天盖地,搜索引擎一遍遍的索引下去还会进行收录吗?即使收录了,所带的效果也是微乎其微的。还浪费了大量的带宽。一般我们常屏蔽的目录为“images、images”。

二、缓存目录的屏蔽

  很多程序都具有缓存目录,拿z-blog这个程序来举例子,它的缓存目录为“CACHE”,其中会有着不少已经生成HTML的缓存文件。如果蜘蛛继续进行索引的话,无疑是造成了重复内容的索引,这对网站是有害无益的。当然,其他程序还有这各自不同的缓存目录,针对性的进行屏蔽才最为适宜。

三、模板目录的屏蔽

  对于程序的模板,大多站长都选择了直接套用而非独立模板。模板的高度重复性也成为了一个搜索引擎中信息的冗余,因此利用Robots.txt来进行模板的屏蔽也是有益无害的。且模板文件常常与生成文件高度相似,同样易造成雷同内容的出现。

四、CSS目录的屏蔽

  CSS目录,搜索引擎抓取无用,所以我们在设置Robots.txt文件中将其进行屏蔽,以提高搜索引擎的索引质量。为搜索引擎提供一个简洁明了的索引环境更易提升网站友好性。

五、部分程序的RSS页

  此条只针对存在RSS页的程序来讲,一般博客中比较常见。此页面可以说是一个高度重复的页面,完全有必要进行屏蔽,以增强网站在搜索引擎中的友好性。

六、屏蔽双页面的内容

  一个可以生成静态页面的网站,一般来说动态页面也是可以访问的,两者若被搜索引擎完全索引,无疑是访问到了完全一致的内容,对搜索引擎友好性来说是有害无益的。而我们屏蔽的往往都是后者,因为前者页面为静态,更易被搜索引擎索引收录。

七、涉及程序安全页

  在起始位置我们交代了屏蔽ADMIN、DATA目录,防止安全目录与数据库泄露。另外数据库目录、网站日志目录、备份目录都是需要进行屏蔽的,都是可以有效减少“泄密”现象的发生。

八、屏蔽文件形式

  一些站长总是喜欢将网站备份后方到网站下载后忘记删除,或者根本不做下载,直接保留到服务器。但是大家都知道,网站发展壮大必定受到一些人的窥视,网站一次次的被尝试下在数据库、备份文件,稍微有点名次的网站都会受到类似的攻击。利用robots.txt屏蔽类似“rar、zip”等类似的文件。实质上,这样的屏蔽方式更有益于“第七点”,但是做到的仍然只是局部。


拓展阅读:

新县小程序谈为什么你搜索的结果和我搜索的结果不一样?

新县小程序谈新闻源优化目前成为SEO方向的感谢

新县网站推广谈网址不带超链接是算外链的验证

新县网站推广分享设计公司制作一个企业logo要多少钱?具备哪些特

新县建站谈决定建网站前必须考虑的几大类问题

新县小程序开发谈微信公众号哪些细节会影响用户体验?

新县小程序开发谈选择网站设计公司应该考虑哪些方面

新县小程序谈网站制作的语言基础?

本文由新城建站整理发布,喜欢请收藏,转载请保留链接 新县SEO分享seo教你适时的拒绝蜘蛛https://www.nccpu.net/henan/xinyang/xinxian/13606.html

服务支持

我们珍惜您每一次在线询盘,有问必答,用专业的态度,贴心的服务。

让您真正感受到我们的与众不同!