集权重法之—-蜘蛛抓取协议(robots)


26群,军军规范蜘蛛换取网站的页面,有利于网站权重集中和网站的整体平分。User-agent: *Disallow: /login/用户登录页面,无质量的权限页面。Disallow: /reg/ 用户注册帐号页面, 无质量的权限页面。Disallow: /fabu/用户发布信息的页面,无质量又不需要用来排名的页面。Disallow: /grgz/用户发面信息细分页面,无质量又不需要用来排名的页面。Disallow: /qypz/用户发面信息细分页面,无质量又不需要用来排名的页面。Disallow: /zjpz/ 用户发面信息细分页面,无质量又不需要用来排名的页面。Disallow: /qypz/用户发面信息细分页面,无质量又不需要用来排名的页面。Disallow: /zzfw/用户发面信息细分页面,无质量又不需要用来排名的页面。Disallow: /pxxx/用户发面信息细分页面,无质量又不需要用来排名的页面。Disallow: /gsfw/用户发面信息细分页面,无质量又不需要用来排名的页面。Disallow: /about/ 网站的关于我们,联系我们,招聘英才,都是些单页面,也不用来排名的页面。Disallow: /admin/ 网站的后台登录页面,无质量又不需要用来排名的页面。Disallow: /*?*/ 避免出现动态路径而被抓取。