robots文件怎么写
浏览：1976次
发布时间：2015-04-22
编辑
分享
评论
赞0
现在基本上所有的优化站点中都有加入robots文件，但是也有一部分SEOer们对于robots文件不是很了解。今天我们就一起来学习学习关于robots文件的相关内容。
1、每一个网站中只能有一个robots文件，文件命名都是robots.txt
2、robots.txt文件正确的位置是放在优化网站的根目录下，如果位于子目录下则该文件无法访问
3、robots.txt文件不能够阻止任何文件的访问，只能够阻止搜索引擎对内容的索引，它是一个公共资源，如果使用不正确，就会将相关内容暴露给黑客
4、robots.txt文件的写法
User-agent:*
Disallow:/
阻止搜索引擎对任何内容的访问，网站所有页面将不会被收录
User-agent:*
Disallow:/directory
阻止对directory开始的所有信息的访问
User-agent:*
Disallow:/directory/
阻止搜索引擎对/directory/目录的访问
猜你喜欢
评论(0人参与，0条评论)
发布评论
最新评论