禁止页内 URL 抓取答案

【问题标题】：Disallow In-Page Url Crawls禁止页内 URL 抓取
【发布时间】：2015-04-22 12:48:11
【问题描述】：

我想禁止所有机器人抓取特定类型的页面。我知道这可以通过robots.txt 和.htaccess 完成。但是，这些页面是根据用户的请求从数据库中生成的。我已经搜索了互联网，但没有得到很好的答案。

我的链接是这样的：

http://www.my_website/some_controller/some_action/download?id=<encrypted_id>

有一个用户查看页面，其中显示的所有数据都来自数据库，包括我之前提到的那种链接。我想对机器人隐藏这些链接，而不是整个页面。我该怎么做？

【问题讨论】：

这个问题与 Stack Overflow 无关，因为它似乎与编程无关。
@Abhimanyu 只需在您网站的根目录下创建一个robots.txt 文件并在其中放入User-agent: * Disallow: /，这将阻止任何爬取您网站的内容。见here。
@ʎǝʞuoɯɹǝqʎɔ 我不能那样做。我需要抓取该页面，但不需要该链接。
只要.htaccess 和robots.txt 是自动创建的，您就不能这样做（除非您的应用程序允许插入自定义规则）。
@ʎǝʞuoɯɹǝqʎɔ 是的，我可以插入自定义 url 规则。

标签： .htaccess web-crawler robots.txt google-crawlers

【解决方案1】：

页面不能用a生成吗

<meta name="robots" content="noindex">

在脑子里？

【讨论】：

@BradleyDotNET 该页面正在被抓取，但我不希望从显示它们的页面中抓取这些类型的链接
@Abhimanyu 我只是在编辑掉绒毛。我不是这个主题的专家:)

【解决方案2】：

你不能对机器人隐藏东西，但要让它对其他流量可用，毕竟你如何区分机器人和常规流量......你不能没有某种验证，比如你在框中输入的单词的图片。 Robots.txt 不会阻止机器人，大多数机器人会查看它，这将阻止它们自行选择，但这只是因为它们被编程为这样做。他们不必这样做，因此如果他们愿意，可以完全忽略 robots.txt。

【讨论】：