Kubernetes 上带有 Pgbouncer 的 Npgsql - 高延迟

Question

我有一个身份api，该项目或多或少是具有Aspnet核心身份的入门模板。它部署在 GKE 集群上，并使用 Google Cloud sql PostgresSql 作为数据库。

我的 jmeter 测试：在 api Account/LogIn 上 30 秒内有 6000 个请求；拥有 500 万 用户的数据库

使用 npgsql 的内部轮询器和连接字符串Pooling=true;Minimum Pool Size=100;Maximum Pool Size=500

P99	P95	AVG
700 ms	80 ms	40 ms

结果很好，但是在测试过程中 pod 的 cpu 接近 100%

在与Pooling=false的连接字符串中使用一个PgBouncer

P99	P95	AVG
53.22s	48.39s	9s

数字不言自明

查看 postgres 日志，查询解析和绑定似乎花费了 256 毫秒，查询执行后连接在 589 毫秒后关闭。

我是否缺少一些 npgsql 配置？ 为什么每个查询都有解析和绑定？

[2186] => queryPerProcess Object
        (
            [numQuery] => 4
            [pidProcess] => 6030
            [processStartTime] => 2021-02-17 16:07:10.437
            [totalQueryTime] => 0.338
            [lastQueryTime] => 2021-02-17 16:07:10.438
            [discardQueryTime] => 2021-02-17 16:07:12.006
            [closeTimeDiff] => 568
            [lines] => Array
                (
                    [0] => 6030 2021-02-17 16:07:10.437 UTC identity Identity LOG:  duration: 0.112 ms  parse <unnamed>: SELECT a."Id" ... etc"

                    [1] => 6030 2021-02-17 16:07:10.438 UTC identity Identity LOG:  duration: 0.144 ms  bind <unnamed>: SELECT a."Id" .. etc "

                    [2] => 6030 2021-02-17 16:07:10.438 UTC identity Identity LOG:  duration: 0.039 ms  execute <unnamed>: SELECT a."Id" .. etc"

                    [3] => 6030 2021-02-17 16:07:12.006 UTC identity Identity LOG:  duration: 0.043 ms  statement: DISCARD ALL

                )

        )

Answer 1

那里似乎有多个问题...

首先，Npgsql 的池是一个进程内池，其中打开和关闭的开销极小。使用 PgBouncer，您的应用程序仍然必须建立 TCP 连接（甚至可能是 SSL 连接），这是不可忽略的开销。因此，即使您还打算使用 pg_bouncer（它可以用作服务器端池），通常也建议您保留 Npgsql 的池。

其次，如果你不准备你的语句，Npgsql 会为每个查询发送 Parse/Bind/Describe/Execute/Sync。你可能想看看Npgsql docs on preparation。