禁用对子域的抓取

【问题标题】：Disable crawling for subdomain禁用对子域的抓取
【发布时间】：2014-10-05 11:50:29
【问题描述】：

我想禁用对我的子域的抓取。

例如：我的主域名是 maindomain.com
subdomain_one.com（附加域）
subdomain_two.com（附加域）

所以我想禁用对 subdomain_one.maildomain.com 的抓取。

我在robot.txt中使用过这个：

   User-agent: *
   Disallow: /subdomain_one/
   Disallow: /subdomain_two/

【问题讨论】：

【解决方案1】：

该文件必须称为robots.txt，而不是robot.txt。

如果您想禁止所有机器人抓取您的子域，您必须在 该子域的文档根目录中放置一个 robots.txt 文件，其内容如下：

User-agent: *
Disallow: /

每个主机都需要自己的robots.txt。您不能在 robots.txt 中指定子域，只能指定 beginnings of URL paths。

因此，如果您想阻止 http://sub.example.com/ 上的所有文件，则 robots.txt 必须可以从 http://sub.example.com/robots.txt 访问。

doesn’t matter 您的网站在服务器端是如何组织的，只有可公开访问的内容才重要。

【讨论】：

请注意，某些搜索引擎（例如 Google）可能仍会索引您的网址。但是，如果您在 robots.txt 中禁用抓取，Google 将不会将您的内容用于他们的搜索结果 sn-p。
@Lakshmikantharaju：如果它回答了你的问题，你可以accept我的回答。