robots.txt
浏览：665次
发布时间：2017-10-12
编辑
分享
评论
赞0
机器人文件是指在网站根目录下的一个文件,通过书写的一些代码,能控制搜索引擎蜘蛛的抓取行为.通过它我们能让搜索引擎禁止或者疾速抓取我们的网站.
猜你喜欢
评论(0人参与，0条评论)
发布评论
最新评论