【问题标题】:Batching stores transparently透明地批量存储
【发布时间】:2021-01-09 15:31:25
【问题描述】:

我们正在使用以下框架和版本:

  • jOOQ 3.11.1
  • Spring Boot 2.3.1.RELEASE
  • Spring 5.2.7.RELEASE

我有一个问题,我们的一些业务逻辑被划分为如下所示的逻辑单元:

  • 收到包含用户事务的请求
  • 此请求包含各种信息,例如交易类型、该交易包含哪些产品、进行了何种付款等。
  • 然后将这些属性单独存储在数据库中。

在代码中,大致如下:

TransactionRecord transaction = transactionRepository.create();
transaction.create(creationCommand);`

在Transaction#create(以事务方式运行)中,会发生如下情况:

storeTransaction();
storePayments();
storeProducts();
// ... other relevant information

一个给定的交易可以有许多不同类型的产品和属性,所有这些都被存储。其中许多属性会导致UPDATE 语句,而有些可能会导致INSERT 语句 - 很难提前完全知道。

例如,storeProducts 方法大致如下:

products.forEach(product -> {
    ProductRecord record = productRepository.findProductByX(...);
    if (record == null) {
        record = productRepository.create();
        record.setX(...);
        record.store();
    } else {
      // do something else
    }
});

如果产品是新的,它们是INSERTed。否则,可能会发生其他计算。根据事务的大小,这个单用户事务显然可能导致多达O(n) 数据库调用/往返,甚至更多取决于存在的其他属性。在存在大量属性的事务中,这可能会导致针对单个请求(!)的数百个数据库调用。我想将它尽可能地降低到O(1),以便对我们的数据库有更多可预测的负载。

这里自然会想到批量和批量插入/更新。我想做的是使用jOOQ 将所有这些语句批处理成一个批处理,并在提交之前成功调用方法后执行。我发现了几个(SO Post、jOOQ API、jOOQ GitHub Feature Request)帖子隐含地提到了这个主题,而one user groups post似乎与我的问题明确相关。

由于我同时使用Spring 和jOOQ,我相信我的理想解决方案(最好是声明性的)如下所示:

@Batched(100) // batch size as parameter, potentially
@Transactional
public void createTransaction(CreationCommand creationCommand) {
    // all inserts/updates above are added to a batch and executed on successful invocation
}

为此,我想我需要管理一个作用域 (ThreadLocal/Transactional/Session 作用域) 资源,该资源可以跟踪当前批次,以便:

  1. 在进入方法之前,如果方法是@Batched,则创建一个空批次,
  2. 通过 DI 提供的自定义 DSLContext(可能扩展 DefaultDSLContext)有一个 ThreadLocal 标志,用于跟踪是否应该对任何当前语句进行批处理,如果是这样
  3. 拦截调用并将它们添加到当前批处理中,而不是立即执行它们。

但是,第 3 步将需要从 (IMO) 相对可读的代码中重写大部分代码:

records.forEach(record -> {
    record.setX(...);
    // ...
    record.store();
}

到:

userObjects.forEach(userObject -> {
    dslContext.insertInto(...).values(userObject.getX(), ...).execute();
}

这首先会破坏使用这种抽象的目的,因为第二种形式也可以使用DSLContext#batchStore 或DSLContext#batchInsert 重写。但是,IMO 批处理和批量插入不应由单个开发人员决定,并且应该能够在更高级别(例如由框架)透明地处理。

我发现jOOQ API 的可读性是使用它的一个惊人的好处,但它似乎不适合(据我所知)在诸如此类的情况下很好地拦截/扩展.是否有可能使用jOOQ 3.11.1(甚至是当前的)API,通过透明的批处理/批量处理获得类似于前者的行为?这意味着什么?


编辑:

为了实现商店的透明批处理,想到的一种可能但非常老套的解决方案如下:

  1. 创建一个RecordListener,并将其作为默认值添加到Configuration,只要启用批处理。
  2. 在RecordListener#storeStart 中,将查询添加到当前事务的批次中(例如在ThreadLocal<List> 中)
  3. AbstractRecord 有一个changed 标志,在存储之前会检查它(org.jooq.impl.UpdatableRecordImpl#store0、org.jooq.impl.TableRecordImpl#addChangedValues)。重置它(并将其保存以供以后使用)使存储操作成为空操作。
  4. 最后,在方法调用成功但在提交之前:
  • 将各个记录的changes 标志重置为正确的值
  • 调用org.jooq.UpdatableRecord#store,这次不使用RecordListener 或跳过storeStart 方法(可能使用另一个ThreadLocal 标志来检查是否已执行批处理)。

据我所知,这种方法应该在理论上可行。显然,如果代码依赖反射来工作,库内部可能随时发生变化,因此它非常 hacky 并且容易崩溃。

有谁知道更好的方法,只使用公共jOOQ API?

【问题讨论】:

  • 为了记录,我将同样的问题发布到jOOQ user group。我很可能应该直接把它贴在那里。我会用我在那里学到的任何信息更新这篇文章。

标签: spring spring-boot spring-jdbc jooq


【解决方案1】:

jOOQ 3.14 解决方案

您已经发现了相关的feature request #3419,它将从 jOOQ 3.14 开始在 JDBC 级别解决这个问题。你可以直接使用BatchedConnection,包装你自己的连接来实现以下,或者使用这个API:

ctx.batched(c -> {

    // Make sure all records are attached to c, not ctx, e.g. by fetching from c.dsl()
    records.forEach(record -> {
        record.setX(...);
        // ...
        record.store();
    }
});

jOOQ 3.13 及之前的解决方案

目前,在实现 #3419 之前(它将在 jOOQ 3.14 中实现),您可以自己实现它作为一种解决方法。您必须代理 JDBC Connection 和 PreparedStatement 和 ...

...拦截所有:

  • 调用Connection.prepareStatement(String),如果 SQL 字符串与上一个准备好的语句相同,则返回一个缓存的代理语句,或者批量执行最后一个准备好的语句并创建一个新的。
  • 调用PreparedStatement.executeUpdate() 和execute(),并将它们替换为调用PreparedStatement.addBatch()

...全部委托:

  • 调用其他 API,例如Connection.createStatement(),它应该刷新上述缓冲批次,然后调用委托 API。

我不建议你绕过 jOOQ 的 RecordListener 和其他 SPI,我认为这是缓冲数据库交互的错误抽象级别。此外,您还需要批处理其他语句类型。

请注意,默认情况下,jOOQ 的UpdatableRecord 会尝试获取生成的标识值(请参阅Settings.returnIdentityOnUpdatableRecord),这会阻止批处理。此类store() 调用必须立即执行,因为您可能希望标识值可用。

【讨论】:

  • 非常感谢您提供极快的反馈,以及有关获取生成的标识值的提示;我们将不得不权衡选项,看看我们是否只是吞下“苦药”并与DSLContext#batchStore合作,直到我们可以更新到3.14,因为我确信还有其他各种小的边缘情况需要考虑。再次感谢!
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2017-11-13
相关资源
最近更新 更多