如何使用多个脚本安全地连接到 postgres

Question

我已经开始学习如何使用 Python 编写 psycopg2 代码。我所做的是我的脚本很少。让我们举个例子，它最多可以有 150 个连接，我们知道，我们不能同时连接超过 100 个连接。我发现每当我想进行数据库查询/执行时，我都会连接到数据库，执行执行然后关闭数据库。但是我确实认为打开和关闭新连接非常昂贵并且应该更长寿。

我做过这样的事情：

DATABASE_CONNECTION = {
    "host": "TEST",
    "database": "TEST",
    "user": "TEST",
    "password": "TEST"
}


def get_all_links(store):
    """
    Get all links from given store
    :param store:
    :return:
    """

    conn = psycopg2.connect(**DATABASE_CONNECTION)

    sql_update_query = "SELECT id, link FROM public.store_items WHERE store = %s AND visible = %s;"

    cursor = conn.cursor(cursor_factory=psycopg2.extras.DictCursor)

    try:

        data_tuple = (store, "yes")
        cursor.execute(sql_update_query, data_tuple)

        test_data = [{"id": links["id"], "link": links["link"]} for links in cursor]
        cursor.close()
        conn.close()
        return test_data

    except (Exception, psycopg2.DatabaseError) as error:
        print("Error: %s" % error)
        cursor.close()
        conn.rollback()
        return 1



def get_all_stores():
    """
    Get all stores in database
    :return:
    """

    conn = psycopg2.connect(**DATABASE_CONNECTION)

    sql_update_query = "SELECT store FROM public.store_config;"

    cursor = conn.cursor(cursor_factory=psycopg2.extras.DictCursor)

    try:

        cursor.execute(sql_update_query)

        test_data = [stores["store"] for stores in cursor]

        cursor.close()
        conn.close()
        return test_data

    except (Exception, psycopg2.DatabaseError) as error:
        print("Error: %s" % error)
        cursor.close()
        conn.rollback()
        return 1

我想知道如何使它尽可能有效，因为我可以将大量脚本连接到数据库但仍然没有遇到 max_connection 问题？

我忘了补充说我连接的方式是我有多个脚本等：

test1.py
test2.py
test3.py
....
....

每个脚本都为自己运行

他们都有一个导入database.py，其中包含我之前展示过的以下代码。

更新：

from psycopg2 import pool

threaded_postgreSQL_pool = psycopg2.pool.ThreadedConnectionPool(1, 2,
                                                                user="test",
                                                                password="test",
                                                                host="test",
                                                                database="test")

if (threaded_postgreSQL_pool):
    print("Connection pool created successfully using ThreadedConnectionPool")
    

def get_all_stores():
    """
    Get all stores in database
    :return:
    """

    # Use getconn() method to Get Connection from connection pool
    ps_connection = threaded_postgreSQL_pool.getconn()

    sql_update_query = "SELECT store FROM public.store_config;"

    ps_cursor = ps_connection.cursor(cursor_factory=psycopg2.extras.DictCursor)

    try:

        ps_cursor.execute(sql_update_query)

        test_data = [stores["store"] for stores in ps_cursor]

        ps_cursor.close()

        threaded_postgreSQL_pool.putconn(ps_connection)
        print("Put away a PostgreSQL connection")

        return test_data

    except (Exception, psycopg2.DatabaseError) as error:
        print("Error: %s" % error)
        ps_cursor.close()
        ps_connection.rollback()
        return 1

Answer 1

虽然打开和关闭数据库连接不是免费的，但与启动和停止 python 解释器相比，它也不是那么昂贵。如果您的所有脚本都独立且短暂地运行，那可能是您应该修复的第一件事。在知道如何（以及是否）使用连接池之前，您必须决定并描述如何安排和调用您的脚本。

众所周知，我们不能同时连接超过 100 个连接。

100 是 max_connections 的默认设置，但它是完全可配置的。如果你愿意，你可以增加它。如果您为性能进行重构，您可能应该以一种自然意味着您不需要提高 max_connections 的方式这样做。但是仅仅因为你不想提高 max_connections 就进行重构是让尾巴摇摆不定。

Answer 2

你是对的，建立数据库连接很昂贵；因此，您应该使用连接池。但是没有必要重新发明轮子，因为psycopg2 has built-in connection pooling：

使用psycopg2.pool.SimpleConnectionPool 或psycopg2.pool.ThreadedConnectionPool（取决于您是否使用线程）并使用getconn() 和putconn() 方法来获取或返回连接。