如何（大量）减少 Rails 应用程序中的 SQL 查询数量？

Question

在我的 Rails 应用程序中，我有 users，它可以有很多 invoices，而invoices 又可以有很多 payments。

现在在dashboard 视图中，我想总结一下user 收到的所有payments，按年、季度或月排序。 payments 还细分为 gross、net 和 tax。

user.rb：

class User < ActiveRecord::Base

  has_many  :invoices
  has_many  :payments

  def years
    (first_year..current_year).to_a.reverse
  end

  def year_ranges
    years.map { |y| Date.new(y,1,1)..Date.new(y,-1,-1) }
  end

  def quarter_ranges
    ...
  end

  def month_ranges
    ...
  end

  def revenue_between(range, kind)
    payments_with_invoice ||= payments.includes(:invoice => :items).all
    payments_with_invoice.select { |x| range.cover? x.date }.sum(&:"#{kind}_amount") 
  end

end

invoice.rb：

class Invoice < ActiveRecord::Base

  belongs_to :user
  has_many :items
  has_many :payments

  def total
    items.sum(&:total)
  end

  def subtotal
    items.sum(&:subtotal)
  end

  def total_tax
    items.sum(&:total_tax)
  end

end

payment.rb：

class Payment < ActiveRecord::Base

  belongs_to :user
  belongs_to :invoice  

  def percent_of_invoice_total
    (100 / (invoice.total / amount.to_d)).abs.round(2)
  end

  def net_amount
    invoice.subtotal * percent_of_invoice_total / 100
  end  

  def taxable_amount
    invoice.total_tax * percent_of_invoice_total / 100
  end

  def gross_amount
    invoice.total * percent_of_invoice_total / 100
  end

end

dashboards_controller：

class DashboardsController < ApplicationController

  def index    
    if %w[year quarter month].include?(params[:by])   
      range = params[:by]
    else
      range = "year"
    end
    @ranges = @user.send("#{range}_ranges")
  end

end

index.html.erb：

<% @ranges.each do |range| %>

  <%= render :partial => 'range', :object => range %>

<% end %>

_range.html.erb：

<%= @user.revenue_between(range, :gross) %>
<%= @user.revenue_between(range, :taxable) %>
<%= @user.revenue_between(range, :net) %>

现在的问题是这种方法有效，但也会产生大量的 SQL 查询。在典型的 dashboard 视图中，我得到 100+ 个 SQL 查询。在添加.includes(:invoice) 之前，还有更多的查询。

我认为主要问题之一是每张发票的subtotal、total_tax 和total 并未存储在数据库中的任何位置，而是根据每个请求进行计算。

谁能告诉我如何在这里加快速度？我不太熟悉 SQL 和 ActiveRecord 的内部工作原理，所以这可能是这里的问题。

感谢您的帮助。

Answer 1

每当调用revenue_between 时，它都会从数据库中获取给定时间范围内的payments 以及关联的invoices 和items。由于时间范围有很多重叠（月、季度、年），因此会一遍又一遍地获取相同的记录。

我认为最好一次获取用户的所有付款，然后在 Ruby 中对其进行过滤和汇总。

要实现，将revenue_between方法更改如下：

def revenue_between(range, kind) 
   #store the all the payments as instance variable to avoid duplicate queries
   @payments_with_invoice ||= payments.includes(:invoice => :items).all
   @payments_with_invoice.select{|x| range.cover? x.created_at}.sum(&:"#{kind}_amount") 
end

这会急切地加载所有付款以及相关的发票和项目。

同时更改invoice 求和方法，使其使用预先加载的items

class Invoice < ActiveRecord::Base

   def total
     items.map(&:total).sum
   end

   def subtotal
     items.map(&:subtotal).sum
   end

   def total_tax
     items.map(&:total_tax).sum
   end

end

Answer 2

除了@tihom 提出的memoizing 策略，我建议你看看Bullet gem，正如他们在描述中所说，它将帮助你杀死N+1 个查询和未使用的急切加载。

Answer 3

您的大部分数据不需要是实时的。你可以有一个服务来计算统计数据并将它们存储在你想要的任何地方（Redis，缓存......）。然后每 10 分钟或根据用户要求刷新它们。

首先，在没有统计信息的情况下呈现您的页面并使用 ajax 加载它们。