排除子域被搜索引擎抓取答案

【问题标题】：Excluding subdomains from being crawled by search engines排除子域被搜索引擎抓取
【发布时间】：2015-09-10 03:23:17
【问题描述】：

我有：

domain.com
Customer1.domain.com
Customer2.domain.com
...
CustomerN.domain.com

我希望 domain.com 被搜索引擎抓取和索引，但不是 Customer1.domain.com、Customer2.domain.com、... CustomerN.domain.com

子域是动态创建的，每个客户一个，我希望它们无论如何都不会显示在搜索结果中。我确实尝试通过 robots.txt 文件解决这个问题，但它对我没有帮助。

我的应用程序托管在 IIS 服务器上。有什么帮助吗？

【问题讨论】：

【解决方案1】：

您需要为每个子域创建一个 robots.txt。它们必须包含以下语句（来自https://youtu.be/G29Zt-UH_Ko）：

user-agent: *
disallow: /

【讨论】：