价格查询 批量查询 一键转入
查询
查询
查询
或者
立即发布需求

机器人协议

作者：重庆小面 浏览：984次 发布时间：2017-06-25
编辑 分享 评论 赞0

　　机器人协议(Robots.txt)不过是一个TXT文本文件，存在于你域名根目录之下，作用是将网站的目录结构信息告诉爬虫和蜘蛛，并限制其对特定文件夹和内容的访问，或者是完全将它们关在门外。


上一篇：沙盒效应 下一篇：关键词堆积

猜你喜欢

评论(0人参与，0条评论)

发布评论

最新评论

词条统计

  • 浏览次数：984次
  • 编辑次数：0次历史版本
  • 最近更新：2017-06-26
  • 创建者：重庆小面

    • 相关词条

    相关问答

    相关百科

    相关资讯

    copyright 2016(c)yuntask.com版权所有 杭州志卓科技股份有限公司 浙ICP备09021221号