meta robots标签的写法

meta robots标签针对具体一个网页,设置比robots.txt文件更灵活,除了是否收录本页面外,还能控制搜索引擎蜘蛛是否跟踪本页面内的链接等。 关于meta robots标签的写法,权威的解释是About the Robots tag。content可以有四个值:”INDEX”, “NOINDEX”, “FOLLOW”, “NOFOLLOW”,可以单独,也可以组合,主要有四种组合:index,follow:允许收录本页,允许跟踪链接。index,nofollow:允许收录本页,但禁止跟踪链接。noindex,follow:禁止收录本页,但允许跟踪链接。noindex,nofllow:禁止收录本页,同时禁止跟踪本页中的链接。如果网页没有robots元标签,默认等同于第一种。上述写法不区分大小写,建议一律小写。Ethan感到各大搜索引擎在使用meta robots上是有些差异的。百度在禁止搜索引擎收录的方法提及meta robots标签的写法,有以下的例子:如果您不想搜索引擎追踪此网页上的链接,且不传递链接的权重,请将此元标记置入网页的 部分:要允许其他搜索引擎跟踪,但仅防止百度跟踪您网页的链接,请将此元标记置入网页的 部分:要防止所有搜索引擎显示您网站的快照,请将此元标记置入网页的 部分:要允许其他搜索引擎显示快照,但仅防止百度显示,请使用以下标记:注:此标记只是禁止百度显示该网页的快照,百度会继续为网页建索引,并在搜索结果中显示网页摘要。百度支持哪些Robots Meta标签?百度支持nofollow、noarchive两种种meta标签。可见百度支持noarchive,并且可以用Baiduspider代替robots仅针对百度。至于百度知否支持noindex,要打个问号,有人反映说百度会收录部分noindex的页面。区分一下noarchive和noindex,noindex是不收录,noarchive是正常收录,正常显示搜索结果(包括摘要),但如果点击快照,看不到网页缓存。有人故意为网页设置noarchive,目的是增加点击率,搜索引擎会记录这种点击率,点击率提高有利于该网页排名。google支持NOARCHIVE、NOSNIPPET、NOODP等,具体英文参见Using the robots meta tag(可能需要翻墙才能打开),中文参见元标记和使用元标记拦截对您网站的访问。可以用googlebot代替robots仅针对google。注意google在使用元标记拦截对您网站的访问中明确了noindex对于google的效果非常彻底,百度没有类似的表述:如果Google看到某一页上有noindex元标记,就会将此页从我们的搜索结果中完全丢弃,而不管是否还有其他页链接到此页。但是,其他搜索引擎可能会以不同的方式解译此指令。因此,指向相关网页的链接可能仍会显示在搜索结果中。最后Ethan要提醒大家,robots.txt文件的优先级比robots元标签要高,因为搜索引擎蜘蛛在抓取任何网页前,首先抓取robots.txt文件,如果一个网页被robots.txt屏蔽了,搜索引擎蜘蛛不会访问这个网页,robots元标签里放什么都没用。