或者
问答详情页顶部banner图
您的位置:首页 >营销 > SEO优化 > 网站优化 > 网页被robots了,为什么还会被百度收录?

网页被robots了,为什么还会被百度收录?

提问者:月亮弯弯  |   分类:网站优化  |   浏览173次  |   悬赏分:0积分 2016-05-11 15:20:59

为什么我网站的网页被robots屏蔽了之后,我从网站日志分析后还会能看到被百度抓取和收录呢?不是说屏蔽了以后就不会被抓取和收录了吗?这些页面都是我们老板千叮万嘱不让展现在百度的,现在都不知道怎么交差了,求解释。

我要回答

提 交

匿名

  • 小平同志

    1、蜘蛛还没有抓取到Robots 2、蜘蛛不遵守规则(这个可能性比较小) 3、Robots需要调整,一般屏蔽全站,该规则可以放在最前端(也就是重要的放前面)。 做一下调整,然后需要一些时间。

    2017-01-19 17:20:17
    评论0  |   0
  • 张从飞

    截个图来下

    2016-05-16 17:42:36
    评论0  |   0
  • 一般有两种情况: 第一种是:对已经收录的网页使用robots屏蔽,老网页按照robots规则的删除时间会很长,这个时候可能会造成百度没有遵守robots规则。 第二种情况是:如果你屏蔽的页面或栏目存在大量的外链,那么这个网页或栏目的URL会被百度收录,但内容不会被百度索引,一般这样的多见于首页域名。当然,如果你连URL都不想被收录,可以针对蜘蛛返回404即可。

    2016-05-11 15:50:59
    评论0  |   0
问答详情中间banner