所以我为我的域创建了一个CNAME。例如：
mycname.domain.com
但所有带有CNAME 的网址都会显示在搜索引擎中。如何防止这些 URL 被抓取？我想我必须编辑 robots.txt 文件，但不能 100% 确定。
【问题讨论】：
标签： php html web robots.txt cname
这有点棘手，因为它是一个没有物理根文件夹的CNAME，所以你不能真正使用robots.txt。因此，您必须像这样使用.htaccess 做一些工作：
RewriteCond %{HTTP_HOST} ^mycname.domain.com$ [NC]
RewriteRule ^robots\.txt$ /robots-mycname.txt [NC,L]
上述规则会将CNAME 机器人重定向到它的文件，这样它就不会与您当前的域机器人文件冲突。
现在您创建一个名为robots-mycname.txt 的文件，其内容如下：
User-agent: *
Disallow:
这意味着禁止任何机器人，不幸的是，并非所有机器人都尊重robots.txt 文件，因此请记住这一点。
另一种方法是像这样简单地拒绝对 CNAME 的请求：
RewriteCond %{HTTP_HOST} ^mycname.domain.com$ [NC]
RewriteRule ^ - [F]
您还可以通过像这样设置特定的用户代理来进一步改进这一点：
RewriteCond %{HTTP_HOST} ^mycname.domain.com$ [NC]
RewriteCond %{HTTP_USER_AGENT} Googlebot [NC]
RewriteRule ^ - [F]
You can also make a list like this...
下面是一个示例，说明在这种情况下您将添加到页面中的内容：
<link rel="canonical" href="http://main-domain.com/blog/some-page" />
但是，这需要对所有受影响的页面执行此操作，如果您使用 WordPress、Drupal 等 CMS，则有插件可以自动为您执行此操作。
【讨论】：