相信很多站长都了解到--robots文件网站与搜索引擎的一个约束性协议，约定哪些页面可以允许访问，哪些不允许访问，各种搜索引擎的蜘蛛爬行抓取，是根据根目录下的robots文件来确定接下来其要访问的范围。
robots文件有三大标签和2个通配符：
1、User-agent：用户代理，表示用来指定针对哪个搜索引擎。
2、Allow：允许访问。首字母大写。
3、Disallow：不允许访问。首字母大写。
4、*：通配符匹配0个或者若干个字符
5、$:匹配url类型，属于终止符。
robots文件使用注意事项：
1、只有一个/ 斜杠——表示整个网站的根目录，表示所有的文件都可以抓取。
2、*放在用户代理后面，表示匹配所有蜘蛛。
3、Allow优先级大于Disallow（跟顺序无关）。
4、前后都有* ——表示前面和后面出现任何字符都会屏蔽掉。
5、disalow: *?* ——表示屏蔽掉所有动态路径。
6、冒号用英文状态，且后面一定有空格。
站长基础说说之搜索引擎的内外部优化你知道多少呢？
搜索引擎的内外部优化你知道多少呢？郑州seo索引擎优化告诉你。如下：一、内部优化(1)META标签优化：例如：TITLE，KEYWORDS，DES
0评论2019-05-03278
站长基础说说之网站百度收录需要注意的问题
1.时间问题:网站是新站,百度对于新站的考察时间是1-3个月.在这三个月中,我们site自己的网站经常会出现网站有时间可以查询到一个
0评论2019-05-03279
站长基础说说之网站改版后的降权处理方法有哪些？
网站出现降权的情况很多，这也是每个优化师不想看到的问题，一但网站出现降权对排名的影响还是比较大的，情况稍好的话可能会轻微
0评论2019-05-03271
站长基础说说之seo优化应该从seo的原理上出发才能做好优化
seo这个行业从开始的混乱无比变得井然有序，让很多从事seo行业的朋友心中有了一个底。可是咱们做seo这么长的时间有没有真的去了
0评论2019-05-02253
站长基础说说之SEO优化如何判定一个外链的价值！
对于外链为皇，内容为王这一句话，我想对做SEO优化的人来说耳朵已经听出茧来了。不过随着百度搜索引擎的算法更新后，很多人就放
0评论2019-05-02134
站长基础说说之百度图片的热门目录收录规则有哪些？
百度图片的热门目录： 爆笑趣图、精品推荐、MM明星、卡通动漫、精美壁纸、电影电视、风景名胜、新闻图片、壁纸。百度图片会根据
0评论2019-05-02123
