搜索引擎 – 停止Google索引子域名

我有一个使用通配符子域的站点,以便当有人注册时,他们会到达那里自己的子域.

我不希望google(或其他serach引擎)抓取并索引任何子域名(接受www.)

用robots.txt可以做到这一点吗？

问候

我猜不,至少不是直接使用一个全局robots.txt文件.见： http://www.seomoz.org/q/block-an-entire-subdomain-with-robots-txt

在那个页面的某个地方andykuiper写道：

you can block an entire subdomain via robots.txt, however you’ll need to create a robots.txt file and place it in the root of the subdomain, then add the code to direct the bots to stay away from the entire subdomain’s content.

User-agent: *
Disallow: /

也可以看看：

> http://productforums.google.com/forum/#!topic/webmasters/f5AfW1otAUo
> Disallow or Noindex on Subdomain with robots.txt
> Subdomain disallow search bots via robots.txt

创建一个脚本,将robots.txt文件创建/复制到新创建的子域,一切都应按预期工作.