robots机器人想必做SEO行业的人都不陌生，我们在优化网站的时候必须要使用robots来屏蔽不想让蜘蛛抓取的文件，从而提高蜘蛛的整体 抓取效率，但是有很多SEO同行都不知道如何利用好robots文件，那么今天就说下如何利用robots文件来提高SEO优化的效率！

百度官方是推荐所有的网站都使用robots文件，以便更好地利用蜘蛛的抓取。其实robots不仅仅是告诉搜索引擎哪些不能抓取，更是网站优化的重要工具之一。

robots文件实际上就是一个txt文件。其基本的写法如下：

User-agent: * 这里的*代表的所有的搜索引擎种类，*是一个通配符

Disallow: /admin/  这里定义是禁止爬寻admin目录下面的目录

Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录

Disallow:/ABC/   这里定义是禁止爬寻ABC目录下面的目录

Disallow: /cgi-bin/*.htm禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

Disallow: /*?* 禁止访问网站中所有的动态页面

Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片

Disallow:/ab/adc.html禁止爬取ab文件夹下面的adc.html文件

Allow: /cgi-bin/这里定义是允许爬寻cgi-bin目录下面的目录

Allow: /tmp这里定义是允许爬寻tmp的整个目录

Allow: .htm$ 仅允许访问以".htm"为后缀的URL

Allow: .gif$  允许抓取网页和gif格式图片。

在网站优化方面，利用robots文件告诉搜索引擎哪些是重要的内容，不重要的内容均推荐用robots文件来禁止抓取。不重要的内容的典型代表：网站的搜索结果页面。

对于静态网站来说，我们可以利用Disallow: /*?*来禁止动态页面抓取。但对于动态网站来说，就不能简单地这样做了。不过对于动态网站的站长来说，也无需过于担心，搜索引擎现在可以正常地抓取动态页面。那么在写的时候，就要注意了，我们可以具体到搜索文件的名称来写。比如你的站是search.asp?后面一大串，那么可以这样写：Disallow: /search.asp?*  

这样就可以屏蔽搜索结果页面了，写好了可以到百度站长平台检测robots一下，看看有没有错误!可以输入网址检测一下，是不是正常生效了。