或者

搜索蜘蛛spider和普通用户的区别

作者:dengying 浏览:1753 发布时间:2015-05-27
编辑 分享 评论 0

   

    主流的搜索引擎都声称自己的spider对网站的抓取行为和普通用户的访问行为没有太大的区别。

  站在用户的立场来理解这句话是没有问题的,但是站在站长和SEO的角度这句话就不太正确了。

  在网页上其实有很多东西普通用户是看不到的也分不清楚的,但是spider却是可以看到的,网页上也有很多东西普通用户可以看到,但是spider却是视而不见的。

  如何看待网页,spider和普通用户是有一些区别的,具体表现在以下方面:

  1、 网页中的隐藏内容,是否被挂了黑链等这些spider是无法分辨得出来的。网站中的图片文件也是spider无法分辨的,更不能读取JS,Iframe,Ajax和Flash中的内容,普通用户却是相关的,这些普通用户都是可以看到的。

  2、 Spider没有Referer,对网站的抓取全部都是直接访问的,而普通用户出来直接访问的用户外一般都是由Referer的。

  3、 Spider对网站的访问是不存在Cookie的,但是普通用户访问网站是会产生cookie记录的。

  4、 Spider不会主动注册登入网站,但是普通的用户却是可以的,原则上spider不会抓取和分析网站robots中限制的内容,但是普通的用户是可以正常访问的。

  5、 Spider对于有动态的参数URL可以能会陷入死循环,但是普通的用户是不会的。

  6、 Spider对列表中前几页的新内容可能抓取不好,但是普通用户对感兴趣的内容是可以浏览的

  7、 Spider只是机械的判断文章的原伪度,但是普通用户可以通过多角度来对一篇文章进行判断甄别。  了解了spider和普通用户的区别,我们在日常的优化过程中,在不影响用户体验,不使用作弊手法的情况下,迎合搜索引擎spider的习惯,最大可能的提高网站在搜索引擎中的表现。而误导spider,钻spider空子的做法虽可能短期从搜索引擎中获得搜索流量但不会长久,还是不可取得。以用户为中心,最大可能的满足用户的需求才是正道。


词条统计

  • 浏览次数:1753
  • 编辑次数:0次历史版本
  • 最近更新:2015-05-27
  • 创建者:dengying
  • 相关词条

    相关问答

    相关百科

    相关资讯