【发布时间】：2014-12-03 12:03:47
【问题描述】：
我经常使用remote: true 链接。大多数情况下，响应可以是js 或html，因此搜索机器人不会造成问题
但是有些链接，是纯js响应，没有HTML响应（导致异常和错误，泛滥监控工具、邮件、警报等）
如何设置链接以使搜索机器人（google、bing、其他爬虫）不会尝试？
或者 - 我是否应该返回某种类型的响应，以便爬虫知道不要返回该网址？
【问题讨论】：
标签： ajax ruby-on-rails-4 bots ujs google-crawlers