如何在 redis 中正确使用连接池？

Question

我不清楚连接池是如何工作的，以及如何正确使用它们。我希望有人可以详细说明。我在下面勾勒出我的用例：

settings.py：

import redis

def get_redis_connection():
    return redis.StrictRedis(host='localhost', port=6379, db=0)

task1.py

import settings

connection = settings.get_redis_connection()

def do_something1():
    return connection.hgetall(...)

task2.py

import settings

connection = settings.get_redis_connection()

def do_something1():
    return connection.hgetall(...)

等等

---

基本上我有一个setting.py 文件，它返回redis 连接，以及几个不同的任务文件，它们获取redis 连接，然后运行操作。所以每个任务文件都有自己的redis实例（估计很贵）。优化此过程的最佳方法是什么。这个例子可以使用连接池吗？有没有更有效的方法来设置这种模式？

对于我们的系统，我们有十几个遵循相同模式的任务文件，我注意到我们的请求速度变慢了。

谢谢

Answer 1

Redis-py 为您提供了一个连接池，您可以从中检索连接。连接池创建一组连接，您可以根据需要使用它们（完成后 - 连接将返回到连接池以供进一步重用）。尝试在不丢弃它们的情况下即时创建连接（即不使用池或未正确使用池）将使您与 redis 的连接太多（直到您达到连接限制）。

您可以选择在 init 方法中设置连接池并使连接池全局化（如果对全局不满意，您可以查看其他选项）。

redis_pool = None

def init():
    global redis_pool
    print("PID %d: initializing redis pool..." % os.getpid())
    redis_pool = redis.ConnectionPool(host='10.0.0.1', port=6379, db=0)

然后您可以像这样从池中检索连接：

redis_conn = redis.Redis(connection_pool=redis_pool)

另外，我假设您正在使用hiredis 和redis-py，因为它应该在某些情况下提高性能。您是否还检查了使用现有设置打开到 redis 服务器的连接数，因为它很可能非常高？您可以使用 INFO 命令获取该信息：

redis-cli info

检查 Clients 部分，您将在其中看到“connected_clients”字段，该字段将告诉您在该时刻您打开了多少个与 redis 服务器的连接。

Answer 2

你应该使用一个基于单例（borg 模式）的包装器，它写在 redis-py 上，它将为你的所有文件提供一个公共连接池。 每当您使用此包装类的对象时， 它将使用相同的连接池。

REDIS_SERVER_CONF = {
    'servers' : {
      'main_server': {
        'HOST' : 'X.X.X.X',
        'PORT' : 6379 ,
        'DATABASE':0
    }
  }
}

import redis
class RedisWrapper(object):
    shared_state = {}

    def __init__(self):
        self.__dict__ = self.shared_state

    def redis_connect(self, server_key):
        redis_server_conf = settings.REDIS_SERVER_CONF['servers'][server_key]
        connection_pool = redis.ConnectionPool(host=redis_server_conf['HOST'], port=redis_server_conf['PORT'],
                                               db=redis_server_conf['DATABASE'])
        return redis.StrictRedis(connection_pool=connection_pool)

用法：

r_server = RedisWrapper().redis_connect(server_key='main_server')
r_server.ping()

更新

如果您的文件作为不同的进程运行，您将不得不使用 redis 代理来为您汇集连接，而不是直接连接到 redis，您将不得不使用代理。 一个非常稳定的 redis（和 memcached）代理是 twitter 创建的twemproxy，主要目的是减少打开的连接。

Answer 3

这是奶酪店 page 的报价。

在后台，redis-py 使用连接池来管理与 Redis 服务器的连接。 默认情况下，您创建的每个 Redis 实例都会依次创建自己的连接池。您可以通过将已创建的连接池实例传递给 Redis 类的 connection_pool 参数来覆盖此行为并使用现有的连接池。您可以选择执行此操作以实现客户端分片或对连接的管理方式进行更精细的控制。

pool = redis.ConnectionPool(host='localhost', port=6379, db=0)
r = redis.Redis(connection_pool=pool)

另外，实例are thread-safe：

Redis 客户端实例可以安全地在线程之间共享。在内部，连接实例仅在命令执行期间从连接池中检索，之后直接返回池中。命令执行永远不会修改客户端实例上的状态。

你说：

所以每个任务文件都有自己的 redis 实例（估计很贵）。 ...对于我们的系统，我们有十几个遵循相同模式的任务文件，我注意到我们的请求速度变慢了。

几十个连接不太可能减慢 Redis 服务器的速度。但是因为您的代码在幕后使用连接池，所以问题出在连接本身的某个地方。 Redis 是内存存储，因此在大多数可以想象的情况下都非常快。所以我宁愿在任务中寻找问题。

更新

来自@user3813256 的评论。是的，他在任务级别使用连接池。使用redis包的内置连接池的正常方法是共享连接。以最简单的方式，您的settings.py 可能如下所示：

import redis

connection = None

def connect_to_redis():
    global connection
    connection = redis.StrictRedis(host='localhost', port=6379, db=0)

然后在引导您的应用程序调用connect_to_redis 的某个地方。然后在任务模块中使用 import connection。