Allow及两种通配符

文馨1

相关的主题文章：

  
   　　三、 巧煮绿豆汤
  
   苦了高低班的人
  
   睁开眼睛一看
  
   不忘却我小飞的存在.
  
   　　他爱你的时候不措施伪装不爱你
  
Google，雅虎，微软配合，独特遵照同一的Sitemaps尺度。又同时发布，共同遵守的robots.txt文件标准。Google，雅虎，微软各自支撑的robots.txt文件及Meta标签的标准，以及一些各自特有的标准。下面做一个总结。
三家都支持的robots文件记载包含：
Disallow - 告诉蜘蛛不要抓取某些文件或目录。如下面代码将禁止蜘蛛抓取所有的网站文件：
User-agent: *
Disallow: /
Allow - 告诉蜘蛛应该抓取某些文件。Allow和Disallow配合使用，可以告诉蜘蛛某个目录下，大部分都不抓取，只抓取一部分。如下面代码将使蜘蛛不抓取ab目录下其余文件，而只抓取其中cd下的文件：
User-agent: *
Disallow: /ab/
Allow: /ab/cd
$通配符 - 匹配URL结尾的字符。如下面代码将答应蜘蛛拜访以.htm为后缀的URL：
User-agent: *
Allow: .htm$
*通配符 - 告诉蜘蛛匹配任意一段字符。如下面一段代码将制止蜘蛛抓取所有htm文件：
User-agent: *
Disallow: /*.htm
Sitemaps地位 - 告知蜘蛛你的网站舆图在哪里，格局为：
Sitemap: <sitemap_location>
三家都支持的Meta标签包括：
NOINDEX - 告诉蜘蛛不要索引某个网页。
NOFOLLOW - 告诉蜘蛛不要跟踪网页上的链接。
NOSNIPPET - 告诉蜘蛛不要在搜索成果中显示说明文字。
NOARCHIVE - 告诉蜘蛛不要显示快照。
NOODP - 告诉蜘蛛不要应用开放目录中的题目和解释。
上面这些记载或标签，现在三家都共同支持。其中通配符似乎以前雅虎微软并不支持。百度当初也支持Disallow，Allow及两种通配符。Meta标签我不找到百度是否支持的官方阐明。
只有Google支持的Meta标签有：
UNAVAILABLE_AFTER - 告诉蜘蛛网页什么时候过时。在这个日期之后，不应当再呈现在搜索结果中。
NOIMAGEINDEX - 告诉蜘蛛不要索引页面上的图片。
NOTRANSLATE - 告诉蜘蛛不要翻译页面内容。
雅虎还支持Meta标签：
Crawl-Delay - 许可蜘蛛延时抓取的频率。
NOYDIR - 跟NOODP标签类似，然而指雅虎目录，而不是开放目录。
Robots-nocontent - 告诉蜘蛛被标注的部门html不是网页内容的一部分，或者换个角度，告诉蜘蛛哪些局部是页面的重要内容（想被检索的内容）。
MSN还支持Meta标签：
Crawl-Delay
另外提示大家留神的是，robots.txt文件能够不存在，返回404毛病，象征着容许蜘蛛抓取所有内容。但抓取robots.txt文件时却产生超时之类的过错，可能导致搜寻引擎不收录网站，由于蜘蛛不晓得robots.txt文件是否存在或者里面有什么内容，这与确认文件不存在是不一样的。
本篇文章起源于 PHP资讯 原文链接：