搜索引擎优化-Simba

只有在您的网站中包含您不想让搜索引擎编入索引的内容时，才需要使用 robots.txt 文件。 如果您希望搜索引擎将网站上的所有内容编入索引，则不需要 robots.txt 文件（甚至连空的 robots.txt 文件也不需要）。

尽管 Google 不会抓取 robots.txt 拦截的网页内容或将其编入索引，但如果我们在网络上的其他网页中发现这些内容，我们仍然会将其网址编入索引。 因此，网页网址及其他公开的信息，如指向该网站的链接中的定位文字或开放式目录管理系统 (www.dmoz.org) 中的标题，有可能会出现在 Google 搜索结果中。 不过，您网页上的内容不会被抓取、编制索引或显示。

为了能使用 robots.txt 文件，您必须要有对您域的根目录的访问权限（如果您不能确定是否有该权限，请向您的网络托管商核实）。 如果您对域根目录没有访问权限，可使用漫游器元标记限制访问。
要完全阻止网页的内容被列入 Google 网络索引中（即使其他网站链接到此网页），可使用 noindex 元标记。 只要 Googlebot 提取网页，便会看到 noindex 元标记并阻止该网页显示在网络索引中。 Google 网络索引还允许使用 robots.txt 文件中的”Noindex:” 来阻止未抓取网址链接的引用显示在在我们的网络搜索结果中。

已更新 8/19/2009

转载：http://www.google.com/support/webmasters/bin/answer.py?answer=35303&ctx=sibling

Google网站管理员工具