对包含数十亿条记录的表执行查询

Question

我想在不使用限制子句的情况下从数据库中获取一些记录（它可以是 50,100 或用户配置的其他内容），因为我们的应用程序可能在多个数据库上工作，例如 mysql、oracle、mssql、db2....

我做了以下解决方案

package com.test;

import java.sql.Connection;
import java.sql.Statement;
import java.sql.ResultSet;
import java.sql.DriverManager;
import java.util.Date;

public class BatchRetrieveTest extends Object {
    private static final int FETCH_SIZE = 10;

    public BatchRetrieveTest() {
    }

    public static void main(String[] args) {
        BatchRetrieveTest batchRetrieveTest = new BatchRetrieveTest();
        batchRetrieveTest.test();
    }

    void test() {
        Connection conn = null;
        Statement stmt2 = null;
        Date start = null;
        Date end = null;
        int i = 0;
        try {
            conn = DriverManager.getConnection(
                    "jdbc:mysql://localhost:3306/test",
                    "root", "root");
            stmt2 = conn.createStatement(ResultSet.TYPE_SCROLL_SENSITIVE,
                    ResultSet.CONCUR_READ_ONLY);
            conn.setAutoCommit(false);
            stmt2.setFetchSize(FETCH_SIZE);
            stmt2.setPoolable(true);
            start = new Date();
            System.out.println(new Date() + "second execute start"
                    + new Date().getTime());
            ResultSet rs2 = stmt2
                    .executeQuery("SELECT * FROM sample_final_attendance limit 1000");

            end = new Date();
            System.out.println(new Date() + "*************second execute end"
                    + (end.getTime() - start.getTime()));
            rs2.absolute(200000);
            i = 0;
            while (rs2.next()) {
                if (i++ > 100) {
                    break;
                }
            }
            rs2.close();
            stmt2.close();
            end = new Date();
            System.out.println(new Date() + "second read end"
                    + (end.getTime() - start.getTime()));
            conn.close();
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            try {
                stmt2.close();
                conn.close();
            } catch (Exception e) {
            }
        }
    }
}

这里 sample_final_attendance 表包含 15 列和 320 万条记录 执行此程序时需要 2GB 内存和 47 秒的执行时间

我想知道如果某个表有数十亿条记录，那么它会执行失败

我也按照建议使用了setFetchSize，但问题是一样的

请提出一些解决方案

提前致谢

Answer 1

我们在 Statement Object 中设置了 setMaxRow(int numOfRow)，这将限制 Statement Object 生成的行数，而忽略剩余的行数。

看看文档。

Answer 2

好吧，ASFAIK 明白，这个问题与多语言存储中的数据处理更相关。如果您认为，您需要在所有相互依赖的数据库类型的情况下解决相同的问题——一种常见的方法是构建一个服务层。

服务层可以是缓存库，甚至是您创建的地图。不要尝试一次查询有大量记录的数据库，而是将数据作为批处理，并将其存储为 pojos 池。根据用户的需求，您可以从服务层提供数据。

您可以使用 memcache 或 hazlecast 或许多其他缓存库，它们可以直接与数据库集成。我真的不知道你的情况有多复杂。我提出的是一个建议。这构成了一个数据网格，可以在后台填充来自任何数据库的数据。