分享好友 资讯首页 频道列表

我来分享:爬虫程序只抓取首页处理办法

2014-01-1770
 经常看到有朋友说网站出现只抓取首页,其他的内页一个页面都不抓取的情况,那么这个情况是怎么回事呢?下面笔者来做一个详细的解答:

1、刚刚做好的网站

对于新新的网站,首页刚刚被收录,这时候网站的权重是极低的。就不要期望这么快收录内页了,这样的情况,是很正常的,一般最少过了一个月之后,其他的内页才会放出来。
制定一个详细的优化方案,定时更新,切记使用一些不正常的手法。

2、robots.txt文件、服务器限制

这是很多新手容易犯的错误,对robots.txt文件不是很了解,但是不设置又觉得自己降低了档次,所以就错误的填写,导致屏蔽了内页。这样也就导致了蜘蛛无法爬取你的内页。另外服务器的限制也会出现这种情况。

解决策略:检查robots.txt文件和服务器是否有限制,自己看不懂可以找别人帮你。

3、网站的自身布局

网站布局是不是混乱,导航布局是不是混乱,导航不清楚,主页有没有足够的链接指向内页。

处理策略:收拾网站导航,理顺布局,让网站导航更清晰明了,调用内页关键词到主页,增多一种“最新作品”、“作品引荐”等版块,添加内页入口。

4、网站内容质量和更新频率

网站内容质量应该是所有因素里面最重要的一个,也是收录不充分常见的缘由。试想一篇自己都看不下去的文章,百度又怎么会有所青睐呢?互联网发展到现在,已经是粘贴复制,抄袭山寨横行。百度为了提供良好的用户体验,对于复制抄袭的内容,坚持不收录的准则。同时网站的更新是不是具有规律性也非常重要。SEO管家中间:我们把百度蜘蛛比喻成一个人,它本来是1天来一次,你网站没有更新。然后就2天来一次,你的网站依旧没有更新。那么爬虫程序根本就不想再来了。


解决策略:坚持有质量、有数量的定期更新网站内容,当然针对不同的行业更新的频率也不仅相同。

总结:一般新网站权重太低,出现这种情况很正常,老网站出现这种情况很可能是网站布局不合理。针对以上提出的几点现象,逐一排除,自会找出问题的根源。
反对 0
举报 0
收藏 0
打赏 0
站长基础说说之搜索引擎的内外部优化你知道多少呢?
搜索引擎的内外部优化你知道多少呢?郑州seo索引擎优化告诉你。如下:一、内部优化(1)META标签优化:例如:TITLE,KEYWORDS,DES

0评论2019-05-03285

站长基础说说之网站百度收录需要注意的问题
1.时间问题:网站是新站,百度对于新站的考察时间是1-3个月.在这三个月中,我们site自己的网站经常会出现网站有时间可以查询到一个

0评论2019-05-03285

站长基础说说之网站改版后的降权处理方法有哪些?
网站出现降权的情况很多,这也是每个优化师不想看到的问题,一但网站出现降权对排名的影响还是比较大的,情况稍好的话可能会轻微

0评论2019-05-03277

站长基础说说之新手学习优化的3大步骤
对于有过优化网站或者自己及团队有做过网站和优化的人,百度搜索引擎排名的工作原理其实并不是那么复杂,但对于大部分网民用户来

0评论2019-05-02276

站长基础说说之网站如何增加网站内页收录
现在做网站优化的人在不断的淘汰与更新,但是百度的算法还是大同小异,只要把网站排名做到前20名,上前三对于老的SEO人来说都不

0评论2019-05-02240

站长基础说说之seo优化应该从seo的原理上出发才能做好优化
seo这个行业从开始的混乱无比变得井然有序,让很多从事seo行业的朋友心中有了一个底。可是咱们做seo这么长的时间有没有真的去了

0评论2019-05-02260

站长基础说说之SEO新手易走进的优化几大误区
对网站定位不明确在着手工作时要对网站一个定位和了解;站在搜索引擎和用户的角度思考,我们的网站可以给用户传达的核心思想是什

0评论2019-05-02139

站长基础说说之SEO优化如何判定一个外链的价值!
对于外链为皇,内容为王这一句话,我想对做SEO优化的人来说耳朵已经听出茧来了。不过随着百度搜索引擎的算法更新后,很多人就放

0评论2019-05-02138

站长基础说说之蜘蛛是如何抓取页面数据的?
蜘蛛先去抓取百度白名单的网站或者一些信任度非常高的站点和页面(例如:一些高权重网站 和网站的首页),在抓取这些网页的内容

0评论2019-05-02136

站长基础说说之百度图片的热门目录收录规则有哪些?
百度图片的热门目录: 爆笑趣图、精品推荐、MM明星、卡通动漫、精美壁纸、电影电视、风景名胜、新闻图片、壁纸。百度图片会根据

0评论2019-05-02133