蜘蛛程序陷阱(spider trap)
浏览：706次
发布时间：2017-10-23
编辑
分享
评论
赞0
蜘蛛陷阱指的是由于网站结构的某种特征，使搜索引擎陷入无限循环，无法停止爬行，最典型的蜘蛛陷阱是某些页面上的万年历，搜索引擎可以一直单击下一个月陷入无限循环。
蜘蛛程序陷阱是阻止蜘蛛程序爬些网页显示的技术方法，这些手段能很好地配合浏览器，但对蜘蛛程序就构成了阻碍，蜘蛛陷阱包括Javascript下拉菜单以及有些种类的重定向。
猜你喜欢
评论(0人参与，0条评论)
发布评论
最新评论