Spider
浏览：1359次
发布时间：2017-04-20
编辑
分享
评论
赞0
Spider，即搜索引擎蜘蛛，指搜索引擎在互联网中，爬行抓取网页数据的机器程序。搜索引擎蜘蛛的工作是沿着网络链接漫游Web文档集合，并将Web文档的数据带回到搜索引擎数据库中，然后以文档中包含的未访问链接作为新的起点，继续进行漫游，直到没有满足条件的新URL为止。蜘蛛在爬行网页时，并不一定会抓取未访问的链接，不抓取只是爬行，就是未被收录。
猜你喜欢
评论(0人参与，0条评论)
发布评论
最新评论