调查 JDBC 和 MySQL 中的慢速简单查询

Question

PreparedStatement.executeQuery() 的执行时间比直接通过 shell 运行的时间长约 20 倍。我已经用计时器记录以确定这种方法是罪魁祸首。

查询和一些数据库信息（暂时忽略 Java 问题）：

mysql> SELECT username from users where user_id = 1; // 闪电般的速度

通过 mysqlslap 运行相同的查询 1000 次也非常快。

mysqlslap --create-schema=mydb --user=root -p --query="select username from phpbb_users where user_id = 1" --number-of-queries=1000 --concurrency=1

Benchmark
        Average number of seconds to run all queries: 0.051 seconds
        Minimum number of seconds to run all queries: 0.051 seconds
        Maximum number of seconds to run all queries: 0.051 seconds
        Number of clients running queries: 1
        Average number of queries per client: 1000

问题：在 JDBC 中执行相同的查询会显着降低速度。在 for 循环中调用下面的queryUsername() 1,000 次（这在 Main 方法中调用，此处未显示）大约需要 872 毫秒。慢了约 17 倍！我通过在不同的位置放置计时器来追踪大量使用（为了简洁省略了一些）。主要嫌疑人是stmt.executeQuery()，它占用了 872 毫秒运行时间中的 776 毫秒。

public static String queryUsername() {
        String username = "";
        // DBCore.getConnection() returns HikariDataSource.getConnection() implementation exactly as per https://www.baeldung.com/hikaricp
        try (Connection connection = DBCore.getConnection(); 
            PreparedStatement stmt = connection.prepareStatement("SELECT username from phpbb_users where user_id = ?");) {
            stmt.setInt(1, 1);  // just looking for user_id 1 for now
            // Google timer used to measure how long executeQuery() is taking
            // Another Timer is used outside of this method call to see how long
            // total execution takes. 
            // Approximately 1 second in for loop calling this method 1000 times
            Stopwatch s = Stopwatch.createStarted(); 
            try (ResultSet rs = stmt.executeQuery();) {
                s.stop(); // stopping the timer after executeQuery() has been called
                timeElapsed  += s.elapsed(TimeUnit.MICROSECONDS);
                while (rs.next())
                {
                    username = rs.getString("username"); // the query returns 1 record
                }
            }
        } catch (SQLException e) {
            e.printStackTrace();
        }
        
        return username;
    }

其他上下文和尝试的事情：

• SHOW OPEN TABLES 有几张表打开，但都有 In_use=0 和 Name_locked=0。
• SHOW FULL PROCESSLIST 看起来很健康。
• user_id 是索引主键
• 服务器是 Upcloud 每月 5 美元的 1 核、1GB RAM，运行 Ubuntu 20.04.1 LTS（GNU/Linux 5.4.0-66-generic x86_64）。 Mysql Ver 8.0.23-0ubuntu0.20.04.1 for Linux on x86_64 ((Ubuntu))
• JDBC Driver为mysql-connector-java_8.0.23.jar，通过https://dev.mysql.com/downloads/connector/j/从mysql-connector-java_8.0.23-1ubuntu20.04_all获取

Answer 1

不要每次都重新连接。一开始就打开连接；在网页（或程序）完成之前重复使用它。

Answer 2

您可能在比较不同的现实。

在运行 mysqlslap 时，您很可能在工具和 MySQL 服务器之间的通信中使用 Unix 域套接字。尝试将其更改为 TCP，您应该会立即观察到性能下降。另一方面，Connector/J 默认创建基于 TCP 的连接（可以使用 Unix 域套接字，但只能使用第三方库）。

另外，在 mysqlslap 中，您直接运行一个简单的查询，由 COM_QUERY 协议命令处理。在 Java 示例中，您首先准备查询，然后执行它。根据连接器/J 的配置方式，这可能会导致单个 COM_QUERY 协议命令或一对命令，即 COM_STMT_PREPARE 和 COM_STMT_EXECUTE。 Connector/J 还受其语句缓存的配置方式（和/或 CP 缓存）的影响。但是，您只测量了executeQuery 部分，因此理论上，Connector/J 可能会受到青睐。

最后，除非你真的想出一个用例，保证两个执行在相同的情况下有效地完成相同的工作，你可以比较结果并指出差异，但你不能从中得出任何结论.例如，引入缓存并让那些简单的迭代甚至完全跳过与服务器的通信并不难……这将使事情变得非常快。

Answer 3

将借用连接和秒表相关代码移出方法。然后测量为：

 Stopwatch s = Stopwatch.createStarted();
 try (Connection con = ....)  {
     for (int i=0; i < 1000; i++)  {
            queryUsername(   con   );
      }
 }
 s.stop();
 print s.elapsed(TimeUnit.MICROSECONDS);