使用 Psycopg2 时，Postgres 在几百秒后在查询期间关闭连接

Question

我正在运行 PostgreSQL 9.6（在 Docker 中，使用 postgres:9.6.13 映像）和 psycopg2 2.8.2。

我的 PostgreSQL 服务器（本地）托管两个数据库。我的目标是在一个使用 Postgres 的外部数据包装器的数据库中使用来自另一个数据库的数据的数据库中创建物化视图。我通过一个使用 psycopg2 的 Python 脚本来完成这一切。

只要创建物化视图不会花费太长时间（即，如果导入的数据量不太大），这种方法就可以很好地工作。但是，如果该过程花费的时间超过大约 250 秒，psycopg2 会抛出异常

psycopg2.OperationalError: server closed the connection unexpectedly
    This probably means the server terminated abnormally
    before or while processing the request.

在 Postgres 的日志中找不到任何错误消息（或任何与此相关的消息）。

如果我从 SQL 客户端 (Postico) 执行，则物化视图创建成功完成。

这段代码大致说明了我在 Python 脚本中所做的事情：

db = pg.connect(
    dbname=config.db_name,
    user=config.db_user,
    password=config.db_password,
    host=config.db_host,
    port=config.db_port
)
with db.cursor() as c:
    c.execute("""
        CREATE EXTENSION IF NOT EXISTS postgres_fdw;
        CREATE SERVER fdw FOREIGN DATA WRAPPER postgres_fdw OPTIONS (...);
        CREATE USER MAPPING FOR CURRENT_USER SERVER fdw OPTIONS (...);
        CREATE SCHEMA foreign;
        IMPORT FOREIGN SCHEMA foreign_schema FROM SERVER fdw INTO foreign;
    """)
    c.execute("""
        CREATE MATERIALIZED VIEW IF NOT EXISTS my_view AS (
            SELECT (...)
            FROM foreign.foreign_table
        );
    """)

Answer 1

在psycopg2.connect调用中添加keepalive参数似乎解决了问题：

self.db = pg.connect(
            dbname=config.db_name,
            user=config.db_user,
            password=config.db_password,
            host=config.db_host,
            port=config.db_port,
            keepalives=1,
            keepalives_idle=30,
            keepalives_interval=10,
            keepalives_count=5
        )

我仍然不知道为什么这是必要的。我找不到其他任何人描述过在 Docker 中使用 Postgres 时必须使用 keepalives 参数关键字才能运行需要超过 4-5 分钟的查询，但也许很明显，没有人注意到它?

Answer 2

可能是 PostgreSQL 9.6 在 https://stackoverflow.com/a/45627782/1587329 提到的新超时后终止了您的连接。在这种情况下，您可以设置

postgresql.conf 中的statement_timeout

但它是not recommended。

它可能在 Postico 中工作，因为该值已在那里设置。

要记录错误，您需要将 log_min_error_statement 设置为 ERROR 或更低才能显示。