当前位置 : 主页 > 网络推广 > seo >

搜索引擎 – 停止Google索引子域名

来源:互联网 收集:自由互联 发布时间:2021-06-16
我有一个使用通配符子域的站点,以便当有人注册时,他们会到达那里自己的子域. 我不希望google(或其他serach引擎)抓取并索引任何子域名(接受www.) 用robots.txt可以做到这一点吗? 问候 我猜
我有一个使用通配符子域的站点,以便当有人注册时,他们会到达那里自己的子域.

我不希望google(或其他serach引擎)抓取并索引任何子域名(接受www.)

用robots.txt可以做到这一点吗?

问候

我猜不,至少不是直接使用一个全局robots.txt文件.见: http://www.seomoz.org/q/block-an-entire-subdomain-with-robots-txt

在那个页面的某个地方andykuiper写道:

you can block an entire subdomain via robots.txt, however you’ll need to create a robots.txt file and place it in the root of the subdomain, then add the code to direct the bots to stay away from the entire subdomain’s content.

User-agent: *
Disallow: /

也可以看看:

> http://productforums.google.com/forum/#!topic/webmasters/f5AfW1otAUo
> Disallow or Noindex on Subdomain with robots.txt
> Subdomain disallow search bots via robots.txt

创建一个脚本,将robots.txt文件创建/复制到新创建的子域,一切都应按预期工作.

网友评论