未来往事
最近查看站点百度收录信息发现收录了部分带有?问号的动态页面地址,经过一番学习后,最终了解到可以在robots.txt协议文件里增加过滤项:
Disallow:  /*?* #禁止访问网站中所有的动态页面

注意:
1、仅适用于全站静态化或伪静态的站点
2、此方法会导致站内某些内链(动态链接)失效,不过对站点整体收录实际上没啥影响
3、此方法简单理解就是禁止收录带参数的动态页面,这些页面往往是重复收录的根源(在启用全站静态化或伪静态情况下)。同时,启用此规则后,对蜘蛛访问频繁的站点还有缓解服务器压力的作用,同时能促进静态地址的收录。
作者:Rinald @『未来往事 | 记录生活,存储回忆!
原文地址:http://fity.cn/post/582/
本站采用「署名 4.0 国际(CC BY 4.0)」创作共享协议。通俗地讲,只要在使用时署名,那么使用者可以对本站所有原创内容进行转载、节选、混编、二次创作,允许商业性使用。除非在文章正文内单独说明,本站欢迎各种形式的转载。互联网技术更新很快,本站很多文章都具有实效性,我会及时更新原文,但转载的文章无法通知更新。为了不给读者造成困惑或误导,请大家在转载时保留此出处信息。
发表评论
  昵称 [注册]
  密码 (游客无需密码)
  网址
  电邮(电子邮件地址不会被公开, 仅用于接收评论回复提醒使用)
OpenID登入 权限选项 表情