价格查询 批量查询 一键转入
查询
查询
查询
或者
立即发布需求

机器人协议

作者：紫色年华 浏览：1468次 发布时间：2017-09-05
编辑 分享 评论 赞0

机器人协议（Robots.txt）不过是一个TXT文本文件，存在于你域名根目录之下，作用是将网站的目录结构信息告诉爬虫和蜘蛛，并限制其对特定文件夹和内容的访问，或者是完全将它们关在门外。

上一篇：标准链接 下一篇：长尾关键词

猜你喜欢

评论(0人参与，0条评论)

发布评论

最新评论

词条统计

  • 浏览次数：1468次
  • 编辑次数：0次历史版本
  • 最近更新：2017-09-06
  • 创建者：紫色年华

    • 相关词条

    相关问答

    相关百科

    相关资讯

    copyright 2016(c)yuntask.com版权所有 杭州志卓科技股份有限公司 浙ICP备09021221号