Redis - 为什么这段代码这么快？

Question

最近我使用 Redis.Eval 改进了一些代码，效果很好。事实上，这太棒了，但我不明白这怎么可能。

对于 TL;DR

改进了多次使用 Redis.zcard 的 redis 代码，以使用 Redis.eval 一次。代码快了 100 倍以上（在测试环境中。在实际项目中，它快了 1000 倍以上）。我不知道为什么。有人可以解释一下吗？

代码的作用

它做了一个非常简单的任务。它接受一个字符串数组，这些字符串是存储在 Redis 中的 ZSET 的键，并对相应 ZSET 的大小求和，并返回一个整数值，即总和。

测试设置

为了尽可能多地消除外部变量，我设置了一个简单的测试环境，如下所示。

redis = Redis.new(host: '127.0.0.1', db: 1)
KEYS = 500.times.collect do |i| "KEY#{i}" end
KEYS.each do |key|
  redis.zadd(key, 0, "DATA")
end  

改进前

在我更改代码之前，它的工作方式如下所示。

sum = 0
KEYS.each do |key|
  sum += redis.zcard(key)
end

然后我用下面一行代码测试了这段代码的速度。
t = Time.now; sum=0; KEYS.each do |key| sum += redis.zcard(key) end; puts(Time.now - t)
结果打印出0.202seconds(202ms)
（请注意，我是根据测试环境和上面写的代码计算时间的，而不是真实环境）

改进后

在我使用 Lua 脚本和 EVAL 更改代码后，它的工作原理如下。

script = " 
local sum = 0
for index, key in pairs(KEYS) do
  sum = sum + redis.call('zcard', key);
end
return sum"
sum = redis.eval(script, KEYS)

然后，我还测量了执行上述代码所用的时间，使用以下一行代码。
t = Time.now; redis.eval(script, KEYS); puts(Time.now - t)
这给了我0.001519seconds(1.5ms)。这比“改进前”代码快 134 倍。

混乱

让我更加困惑的是，一个redis.zcard(KEYS[0]) 大约需要0.000542seconds(0.542ms)。因此，redis.eval 代码在 redis 中求和 500 ZCARD 需要大约相同的时间来计算 ruby​​ 中的 3 Redis.ZCARD。

当我第一次在我的项目中发现这一点时，我认为减少网络延迟和减少等待队列时间起到了作用。但是，当我在本地 redis 上对此进行测试时，我怀疑我的理论。完全没有网络延迟，也没有其他任务在使用 Redis。

我的理论是

1. Ruby summation(sum += redis.zcard(key)) 花费了大部分时间。
2. 即使我使用的是本地主机，redis 和 ruby​​ 通信之间也存在某种延迟。
3. 在处理许多查询时，redis 存在内部延迟。 （虽然可能性不大）

谁能向我解释一下为什么这个 Redis.eval 代码非常快？谢谢！

Answer 1

这是由于延迟而发生的，基于对套接字的写入/读取/从套接字读取

20% - 将命令写入套接字

80% - 从套接字读取结果

require 'benchmark'
require 'redis'

redis = Redis.new(host: '127.0.0.1', db: 1)
KEYS = 10_000.times.collect { |i| "KEY#{i}" }
KEYS.each { |key| redis.zadd(key, 0, 'DATA') }

script = " 
local sum = 0
for index, key in pairs(KEYS) do
  sum = sum + redis.call('zcard', key);
end
return sum"

Benchmark.bm do |x|
  x.report { puts KEYS.inject(0) { |sum, key| sum + redis.zcard(key) } }
  x.report do
    client = redis.client
    client.send(:ensure_connected) do
      KEYS.inject(0) { |sum, key| sum + client.process([[:zcard, key]]) { client.read } }
    end.tap { |res| puts res}
  end
  x.report do
    client = redis.client
    client.send(:ensure_connected) do
      connection = client.connection
      socket = connection.instance_variable_get(:@sock)
      KEYS.map do |key|
        command = connection.build_command([:zcard, key])
        # Redis::Connection::Ruby
        socket.write(command) # write to socket, 20% of execution time
        line = socket.gets # read from socket, 80% of execution time
        reply_type = line.slice!(0, 1)
        connection.format_reply(reply_type, line)
      end.inject(:+)
    end.tap { |res| puts res}
  end
  x.report { puts redis.eval(script, KEYS) }
end

# user     system      total        real
# 10000
# 0.480000   0.230000   0.710000 (  0.966610)
# 10000
# 0.510000   0.250000   0.760000 (  1.132668)
# 10000
# 0.500000   0.270000   0.770000 (  1.193521)
# 10000
# 0.030000   0.000000   0.030000 (  0.054858)
# [Finished in 4.923s]

所以可能是由于传输延迟，在 redis 中执行的脚本。