使用休眠在数据库中插入100000条记录

Question

我正在使用 Hibernate 在 sybase DB 中插入 100000 条记录……但它需要一个多小时……使用休眠批处理仍然需要相同的时间……有什么方法可以提高性能……我想在 10 分钟内保存 100000 条记录...但无法实现这个目标。

已在配置文件中设置了 hibernate_batch_size。

Session session = sessionFactory.openSession();
Transaction tx = session.beginTransaction();

for ( int i=0; i<100000; i++ ) {
    Customer customer = new Customer(.....);
    session.save(customer);
    if ( i % 20 == 0 ) { //20, same as the JDBC batch size
        //flush a batch of inserts and release memory:
        session.flush();
        session.clear();
    }
}

是否可以使用休眠在数据库中插入 100000 条记录。我可以在 20 秒内使用 Ibatis 在 DB 中插入 20000 条记录，但休眠对我来说需要几个小时

Answer 1

使用无状态会话（没有持久性上下文缓存）： 这样可以加快进程

Session session = sessionFactory.openStatelessSession();
Transaction tx = session.beginTransaction();
for ( int i=0; i<100000; i++ ) {
   Item item = new Item(...);
   session.save(item);
   if ( i % 100 == 0 ) {
     session.flush();
     session.clear(); 
   }
}
tx.commit();
session.close();

希望对你有帮助

Answer 2

如果您在映射中使用 id 生成器，那么 Hibernate 会静默禁用 hibernate batch。更多信息here 和休眠文档第 4 章。

我会选择带有休眠而不是对象的Work 和jdbc。至少这样你就可以对性能进行比较。

您正在创建一个Customer 对象，然后当您将其持久化session.save() 时，它可能会到达数据库以获取ID。然后将客户添加到Hibernate session（一级缓存）。

当您创建、持久化、添加到会话 20 个对象时，flush() 执行实际插入。然后清除缓存。这些引用设置为 null 并标记为收集。但是根据您的 heap 分布和 gc 设置，这些实例可能已经被提升到终身空间。即使不是，也会执行一次次要 gc。

一种优化可以是在 java 代码中生成客户 ID。另一个优化是使用多线程，我会同时使用。

在数据库外部生成 ID 以保存每个Customer 的连接的最简单方法是使用AtomicLong（必须根据customer 表中的 ID 列定义选择类型）。如果批处理不是一次性操作，则必须使用 DB 中的最高 ID 进行初始化：

然后使用批处理触发ExecutorCompletionService，并在所有完成后提交（flush 和clear）。根据需要重复多次。

一个天真的例子：

select max(id) from custormer;

将AtomicLong 初始化为该值，然后使用incrementAndGet()（它首先递增然后返回更新后的值）。

使用AtomicLong 将使您的代码能够以多线程方式运行。

生成 ID 和多线程并行执行也适用于上述jdbc discrete work。

注意：并发执行在多核环境中发挥了优势，如果你的机器是单核的，你不会从多线程中获得太多收益。然后你可以使用一个简单的int 来生成 id，因为一切都是连续发生的。

Answer 3

加载这么多行是 DBA 类型的工作，最好使用命令行工具/命令来完成。我不熟悉 doth sybase，但是会有一个命令可以直接从 csv 文件加载到表中。

Java/hibernate 可能是这项工作最糟糕的工具 - 内存和 CPU 很重，而且没有任何价值。