防止机器人访问 rails active_storage 图像

Question

我的网站有大量图表，这些图表每天都会在新数据可用时重新计算。这些图使用active_storage 存储在Amazon S3 上。一个典型的例子是

# app/models/graph.rb
class Graph < ApplicationRecord
  has_one_attached :plot
end

在视图中

<%= image_tag graphs.latest.plot %>

graphs.latest 检索最新图的位置。每天都会创建一个新图表和附加图表，并删除旧图表/图表。

许多机器人，包括来自 Google 和 Yandex 的机器人正在为图表编制索引，但是当机器人返回并再次通过以下网址访问图像时会生成异常

www.myapp.com/rails/active_storage/representations/somelonghash

有没有办法为图表生成一个持久链接，当图表/图表被删除然后重新计算时不会过期。如果做不到这一点，有没有办法阻止机器人访问这些地块。

请注意，我目前在 routes.rb 文件的末尾有一个总称：

get '*all', to: 'application#route_not_found', constraints: lambda { |req|
      req.path.exclude? 'rails/active_storage'
    } if Rails.env.production?

在总括中排除活动存储是对此issue 的回应。删除 active_storage 豁免是很诱人的，但这可能会停止正确的 active_storage 路由。

也许我可以在rack_rewrite.rb 中添加一些东西来解决这个问题？

Answer 1

有趣的问题。

一个简单的解决方案是使用send_data 功能直接发送图像。但是，这可能有它自己的问题，主要是在可能增加服务器带宽使用（并降低服务器性能）方面。但是，如果您不想在创建重定向模型及其相关逻辑方面遇到以下麻烦，那么您需要这样的解决方案。

---

原答案

重定向需要设置某种Redirects::Graph 模型。这基本上可以验证一个图表是否被删除并重定向到新图表而不是请求的图表。它将有两个字段，一个old_signed_id (biglonghash) 和一个new_signed_id。

每次删除

我们需要填充重定向模型，并在每次创建新图表时添加一个新条目（我们应该能够以某种方式从 blob 生成 signed_id）。

为了提高性能，并避免连续出现大量重定向，这可能会导致不同的错误/问题。您必须管理请求更改。 IE：假设你现在有一个重定向A => B，你删除B 用C 替换它现在你需要一个A => C 和B => C（以避免A => B => C 重定向），这个链可能会变得很长确实。这可以通过添加新的signed_id => new_id 索引并执行Redirects::Graph.where(new_signed_id: old_signed_id).update_all(new_signed_id: new_signed_id) 来更新所有相关的旧重定向来有效地处理，只要您重新生成图表。

控制器本身更棘手，我能想到的最干净的方法是猴子修补ActiveStorage::RepresentationsController 以添加一个before_action 执行类似的操作（可能无法按原样工作，params[:signed_id] 和表示路径可能不正确）：

before_action :redirect_if_needed

def redirect_if_needed
  redirect_model = Redirects::Graph.find_by(old_signed_id: params[:signed_id])
  redirect_to rails_activestorage_representations_path(
    signed_id: redirect_model.new_signed_id
  ) if redirect_model.present?
end

如果您为您的数据库设置了版本控制（IE：Papertrail gem 或其他东西），您可能能够通过一些工作来计算出old_signed_id 和new_signed_id，并为当前导致错误的 url 构建重定向.否则，遗憾的是，这种方法只能防止将来出现错误，并且可能无法使当前损坏的 url 正常工作。

理想情况下，尽管您会更新 blob 本身以使用新图而不是旧图而不是删除，但不确定这是否可行/实用。

Answer 2

你试过了吗？

在file /robots.txt put：

User-agent: *
Disallow: /rails/active_storage*