<?xml version="1.0" encoding="UTF-8"?>
<rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>winZeng*北京SEO &#187; Robots文件标准</title>
	<atom:link href="http://www.winzeng.org.cn/seo/tag/robots%e6%96%87%e4%bb%b6%e6%a0%87%e5%87%86/feed/" rel="self" type="application/rss+xml" />
	<link>http://www.winzeng.org.cn</link>
	<description>北京SEO&#38;SEM&#124;网站优化&#124;Google优化&#124;网络营销</description>
	<lastBuildDate>Mon, 06 Feb 2012 07:19:04 +0000</lastBuildDate>
	<language>en</language>
	<sy:updatePeriod>hourly</sy:updatePeriod>
	<sy:updateFrequency>1</sy:updateFrequency>
	<generator>http://wordpress.org/?v=3.0.1</generator>
		<item>
		<title>搜索引擎统一Robots文件标准</title>
		<link>http://www.winzeng.org.cn/seo/robots-txt/</link>
		<comments>http://www.winzeng.org.cn/seo/robots-txt/#comments</comments>
		<pubDate>Thu, 28 Aug 2008 16:17:35 +0000</pubDate>
		<dc:creator>winzeng</dc:creator>
				<category><![CDATA[SEO（搜索引擎优化）]]></category>
		<category><![CDATA[Robots文件标准]]></category>

		<guid isPermaLink="false">http://www.winzeng.org.cn/seo/%e6%90%9c%e7%b4%a2%e5%bc%95%e6%93%8e%e7%bb%9f%e4%b8%80robots%e6%96%87%e4%bb%b6%e6%a0%87%e5%87%86/</guid>
		<description><![CDATA[  搜索引擎统一Robots文件标准-转载于ZAC 搜索引擎优化SEO每天一贴     搜索引擎三巨头打的不亦乐乎，但偶尔也合作一下。去年Google，雅虎，微软就合作，共同遵守统一的Sitemaps标准。前两天三巨头又同时宣布，共同遵守的robots.txt文件标准。Google，雅虎，微软各自在自己的官方博客上发了一篇帖子，公布三家都支持的robots.txt文件及Meta标签的标准，以及一些各自特有的标准。下面做一个总结。 三家都支持的robots文件记录包括： Disallow &#8211; 告诉蜘蛛不要抓取某些文件或目录。如下面代码将阻止蜘蛛抓取所有的网站文件： User-agent: * Disallow: / Allow &#8211; 告诉蜘蛛应该抓取某些文件。Allow和Disallow配合使用，可以告诉蜘蛛某个目录下，大部分都不抓取，只抓取一部分。如下面代码将使蜘蛛不抓取ab目录下其他文件，而只抓取其中cd下的文件： User-agent: * Disallow: /ab/ Allow: /ab/cd $通配符 &#8211; 匹配URL结尾的字符。如下面代码将允许蜘蛛访问以.htm为后缀的URL： User-agent: * Allow: .htm$ *通配符 &#8211; 告诉蜘蛛匹配任意一段字符。如下面一段代码将禁止蜘蛛抓取所有htm文件： User-agent: * Disallow: /*.htm Sitemaps位置 &#8211; 告诉蜘蛛你的网站地图在哪里，格式为： Sitemap: &#60;sitemap_location&#62; 三家都支持的Meta标签包括： NOINDEX &#8211; 告诉蜘蛛不要索引某个网页。 NOFOLLOW &#8211; 告诉蜘蛛不要跟踪网页上的链接。 NOSNIPPET &#8211; 告诉蜘蛛不要在搜索结果中显示说明文字。 NOARCHIVE &#8211; 告诉蜘蛛不要显示快照。 NOODP &#8211; 告诉蜘蛛不要使用开放目录中的标题和说明。 [...]]]></description>
		<wfw:commentRss>http://www.winzeng.org.cn/seo/robots-txt/feed/</wfw:commentRss>
		<slash:comments>0</slash:comments>
		</item>
	</channel>
</rss>

