分享好友 资讯首页 频道列表

我来分享:网页抓取优先策略

2017-11-02600
 网页抓取优先策略也称为“页面取舍问题”(page Selection),通常是尽可能地首先抓取关紧性的网页,这么保障在有限的资源内尽可能地照顾到那些关紧性高的网页。那么哪些网页才是关紧性高的呢?若何量化关紧性呢?
关紧性气度由链接欢迎度、链接关紧度和均等链接深度这个方面表决。
定义链接欢迎度为IB(P),它主要由反向链接(Backinks)的数量和质量表决。首先考察数量,直观地讲,一个网页有越多的链接指向它(反向链接数多),那么表达其它网页对其的认可。同时这个网页被网民过访的机缘就大,测度出其关紧性也就越高;其次考察质量,假如被越多的关紧性高的网指向,那么其关紧性也就越高。假如不考量质量,便会出现部分最优,而不是全局最优的问题。最典型的就是作弊网页,人为地在一点网页中设置了大量反策链接指向其自身的网页,以增长该网页的关紧性。假如不考量链接质量,便会被这些作弊者所利用。
定义链接关紧度为IL(P),它是一个关于URL字符串的函数,仅只考察字符串本身。链接关紧度主要经过一点模式,譬如认为包含“.COM”还是“HOME”的URL关紧度高,以及具备较少斜杠(Slash)的URL关紧度高等。
定义均等链接深度为ID(P),此为笔者所创。ID(P)表达在一个胚珠站点聚齐中,每个胚珠站点假如存在一条链路(宽度优先遍历规则)到达该网页,那么均等链接深度就是这个网页的又一个关紧性指标。因为距离胚珠站点越近,申说被过访的机缘越多,离胚珠站点越远,关紧性越低。事实上,按照宽度优先的遍历规则即可知足这种关紧性高的网页被优先抓取的需要。
最终,定义网页关紧性的气度为I(P),它由以上两个量化值线性表决,即:
I(P)=a*IB(P)+β*IL(P)
均等链接深度同宽度优先的遍历规则保障,故此不作为关紧性名声的指标。在抓取能力有限的情况下,假如能够把关紧性高的网页尽可能地抓完,是合理科学的,终极被用户查询到的网页也往往是那些关紧性高的网页。
尽管这么看来已经足够完美,事实上,仍然偏废了一个关紧的要素--时间。时间以致万维网动态变动的一面。若何抓取那些新增的网页呢?若何重访那些被修改了的网页呢?若何发现那些被删除开的网页呢?为了保持和万维网网页的同步变动,就务必有网页重访策略。经过该策略可以识别增加、修改及删除网页这3种网页变动的情况。
反对 0
举报 0
收藏 0
打赏 0
站长基础说说之搜索引擎的内外部优化你知道多少呢?
搜索引擎的内外部优化你知道多少呢?郑州seo索引擎优化告诉你。如下:一、内部优化(1)META标签优化:例如:TITLE,KEYWORDS,DES

0评论2019-05-03278

站长基础说说之网站百度收录需要注意的问题
1.时间问题:网站是新站,百度对于新站的考察时间是1-3个月.在这三个月中,我们site自己的网站经常会出现网站有时间可以查询到一个

0评论2019-05-03279

站长基础说说之网站改版后的降权处理方法有哪些?
网站出现降权的情况很多,这也是每个优化师不想看到的问题,一但网站出现降权对排名的影响还是比较大的,情况稍好的话可能会轻微

0评论2019-05-03271

站长基础说说之新手学习优化的3大步骤
对于有过优化网站或者自己及团队有做过网站和优化的人,百度搜索引擎排名的工作原理其实并不是那么复杂,但对于大部分网民用户来

0评论2019-05-02272

站长基础说说之网站如何增加网站内页收录
现在做网站优化的人在不断的淘汰与更新,但是百度的算法还是大同小异,只要把网站排名做到前20名,上前三对于老的SEO人来说都不

0评论2019-05-02236

站长基础说说之seo优化应该从seo的原理上出发才能做好优化
seo这个行业从开始的混乱无比变得井然有序,让很多从事seo行业的朋友心中有了一个底。可是咱们做seo这么长的时间有没有真的去了

0评论2019-05-02253

站长基础说说之SEO新手易走进的优化几大误区
对网站定位不明确在着手工作时要对网站一个定位和了解;站在搜索引擎和用户的角度思考,我们的网站可以给用户传达的核心思想是什

0评论2019-05-02136

站长基础说说之SEO优化如何判定一个外链的价值!
对于外链为皇,内容为王这一句话,我想对做SEO优化的人来说耳朵已经听出茧来了。不过随着百度搜索引擎的算法更新后,很多人就放

0评论2019-05-02134

站长基础说说之蜘蛛是如何抓取页面数据的?
蜘蛛先去抓取百度白名单的网站或者一些信任度非常高的站点和页面(例如:一些高权重网站 和网站的首页),在抓取这些网页的内容

0评论2019-05-02134

站长基础说说之百度图片的热门目录收录规则有哪些?
百度图片的热门目录: 爆笑趣图、精品推荐、MM明星、卡通动漫、精美壁纸、电影电视、风景名胜、新闻图片、壁纸。百度图片会根据

0评论2019-05-02123