robot.txt-优化百科-云客网SEO众包服务平台

触屏版
全国服务热线：0571-87205688

价格查询批量查询一键转入

查询

或者

立即发布需求

robot.txt

作者：妮妮优化 浏览：1179次发布时间：2017-08-13

编辑

robot.txt

搜索引擎通过一种程序“蜘蛛”（又称spider），自动访问互联网上的网页并获取网页信息。您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被蜘蛛访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎访问和收录了，或者可以通过robots.txt指定搜索引擎只收录指定的内容。搜索引擎爬行网站第一个访问的文件就是robot.txt。

上一篇：网站优化 下一篇：内部链接

评论(0人参与，0条评论)

发布评论

词条统计

浏览次数：1179次

编辑次数：0次历史版本

最近更新：2017-08-14

创建者：妮妮优化

猜你喜欢

评论(0人参与，0条评论)

最新评论

词条统计

相关词条

相关问答

相关百科

相关资讯