站长基础说说之若何提高搜引得擎爬行动物的速率来改进SEO办公_SEO优化

若何提高搜引得擎爬行动物的速率来改进SEO办公

网站内部优化做了众多天，终于开放给爬行动物看了。今日改模板改累死，迄今才大体改得差不离（用户体验还不成），过来写篇和爬行动物速率相关的文章。

加快爬行动物抓取速率在SEO当中是一件比事迹情，特别对于中大型网站而言，应当将多半的精力都放在让爬行动物抓取的更多更准上头（“准”指的主要是不要让它抓到无意义页面）。

首先robots文件是个很强的利器，当网站上头拥有重复内容、无意义页面等（需要屏蔽的主要是拥有重复内容或无内容的无意义页面，其它的，黑帽做法可以留下，你懂的。），就可以果敢的屏蔽掉。

具体的书写办法不说了，这个网上真个是一搜一大把。只是顺带提醒两点。

一，robots可以用通配符写，书写是比较自由的。

二，可以把xml款式的sitemap途径放在robots中，供搜引得擎寻觅。

此外有类似屏蔽效果的还有meta robots等，这种是个因为SEO诞生的元标记。具体写法也懒得写，但也顺带一提的是，其中的nofollow可以让百度不抓取页面上的所有链接（rel="nofollow"不得阻挡百度爬行动物抓取），noindex可以让搜引得擎不把现时网页置入引得库，不过上头有的链接，爬行动物都会去剖析。若要屏蔽链接，把nofollow加上。额外之前提到过的rel=”nofollow”属性是个十分好的物品。这个是用在a标签里面的，譬如：<a rel="nofollow">…</a>

它的意思是，让搜引得擎不要为这个链接传送权值（可以简单视为PR）。在Google等搜引得擎上，使役了这个标签的链接不会被爬，Google帮忙里面提到的。而对于百度，不单会爬这个链接，还会传送锚文本效果（这会提高对应网页的相关性，虽然不提高权重）。后者是私人的发现，前段时间把一段字指向Google首页，用了nofollow，加了一个莫名奥妙的锚文本。过了段时间，用这个字符串搜索（仍然加了引号的精密般配）时，Google排在了首位，由此可见度娘对于nofollow的莫名暗昧（还是是对于谷“哥”的暗昧= =）。

总之无论若何，最关紧的是PR这种物品不会再传送了。之前在我的文章里面有提到过，一个网页假如关紧的话，它将会有颀长的援用数量，就是有一堆链邻接向它。而网站上头，常常会有“结合我们”什么的的页面被其它所有的页面所链接，而后得到了高的PR值，爬行动物就每常去光顾这些页面。显然这是何必要的，此时nofollow阻挡下权重的传送就能省下爬行动物大量的在无意义页面上头耗的时间。

貌似按照正常篇幅习性的话，怎么都写不完提高爬行动物速率，那么就分两篇拉到，这篇再叮咛下静态，动态和伪静态。

动态url：当无意生成啥子爬行动物陷坑（无限循环型，譬如被人说烂的例子，日历手续的“下一月”无限存在。），爬行动物往往可以靠参变量剖析出哪些可能是陷坑，特此逃掉。益处是，假如没注意过爬行动物陷坑这个问题，动态url能帮一把。但可能会有稀少数情况，好好的页面被不对判断了。

但如今搜引得擎的技术对于动态url已经没啥子显著问题了，只要后面不跟着一串sessionid就好。http://www.yixiin.com/news/

伪静态：它的主要益处是，url看着爽。其它的就不太多了。因为搜引得擎技术的日益完备，多数情况下对于动态的url剖析不会有啥子问题，最早要伪静态是因为当初搜引得擎太弱而已。

缺点主要有二，一是伪静态的实质是从动态url重定向，这个比较拖累服务器速度，也会些微拖慢爬行动物抓取速率。二是当生成之前所谓无限循环页面时，因为url没有参变量啥子的，看上去和正常页面一摸同样，爬行动物就可能会死在里面浪费大量时间。

静态：诸如WP这种手续，本身功能太强大以致反响速度慢，静态缓存就是个美好的取舍。大概上就是先生成个html文件，用户烦请时直接回返html的，而不必服务器从新运算。若是WP，可以用Super Cache什么的的插件，虽然不是纯粹意义上的静态（复杂的问题无几讲了。），但要的效果基本达到达。http://www.yixiin.com/spread/

而对于网站流量超级宏大的网站，静态化也是务必的，不然要多配个几倍的服务器。但傲然有缺点，譬如会生成大量文件、网站更新不灵活等等，对于某些限止文件数量的空间就没法做静态缓存。

纯SEO角度上，最好是取舍静态缓存的形式，这对于提高爬行动物速率是改观很大的（特别像WP这种）。除此以外，私人引荐小型网站用伪静态，中大型网站用动态。

最终再顺带一提，开启Gzip约略是提高爬行动物速率的最省事的形式吧，效果也几乎是最显著的。这搭无几写了，因为我也人地生疏，我的空间是默认开启Gzip的。WP有一键开启Gzip的插件，很是省心。