【发布时间】:2021-01-09 15:31:25
【问题描述】:
我们正在使用以下框架和版本:
jOOQ 3.11.1Spring Boot 2.3.1.RELEASESpring 5.2.7.RELEASE
我有一个问题,我们的一些业务逻辑被划分为如下所示的逻辑单元:
- 收到包含用户事务的请求
- 此请求包含各种信息,例如交易类型、该交易包含哪些产品、进行了何种付款等。
- 然后将这些属性单独存储在数据库中。
在代码中,大致如下:
TransactionRecord transaction = transactionRepository.create();
transaction.create(creationCommand);`
在Transaction#create(以事务方式运行)中,会发生如下情况:
storeTransaction();
storePayments();
storeProducts();
// ... other relevant information
一个给定的交易可以有许多不同类型的产品和属性,所有这些都被存储。其中许多属性会导致UPDATE 语句,而有些可能会导致INSERT 语句 - 很难提前完全知道。
例如,storeProducts 方法大致如下:
products.forEach(product -> {
ProductRecord record = productRepository.findProductByX(...);
if (record == null) {
record = productRepository.create();
record.setX(...);
record.store();
} else {
// do something else
}
});
如果产品是新的,它们是INSERTed。否则,可能会发生其他计算。根据事务的大小,这个单用户事务显然可能导致多达O(n) 数据库调用/往返,甚至更多取决于存在的其他属性。在存在大量属性的事务中,这可能会导致针对单个请求(!)的数百个数据库调用。我想将它尽可能地降低到O(1),以便对我们的数据库有更多可预测的负载。
这里自然会想到批量和批量插入/更新。我想做的是使用jOOQ 将所有这些语句批处理成一个批处理,并在提交之前成功调用方法后执行。我发现了几个(SO Post、jOOQ API、jOOQ GitHub Feature Request)帖子隐含地提到了这个主题,而one user groups post似乎与我的问题明确相关。
由于我同时使用Spring 和jOOQ,我相信我的理想解决方案(最好是声明性的)如下所示:
@Batched(100) // batch size as parameter, potentially
@Transactional
public void createTransaction(CreationCommand creationCommand) {
// all inserts/updates above are added to a batch and executed on successful invocation
}
为此,我想我需要管理一个作用域 (ThreadLocal/Transactional/Session 作用域) 资源,该资源可以跟踪当前批次,以便:
- 在进入方法之前,如果方法是
@Batched,则创建一个空批次, - 通过 DI 提供的自定义
DSLContext(可能扩展DefaultDSLContext)有一个ThreadLocal标志,用于跟踪是否应该对任何当前语句进行批处理,如果是这样 - 拦截调用并将它们添加到当前批处理中,而不是立即执行它们。
但是,第 3 步将需要从 (IMO) 相对可读的代码中重写大部分代码:
records.forEach(record -> {
record.setX(...);
// ...
record.store();
}
到:
userObjects.forEach(userObject -> {
dslContext.insertInto(...).values(userObject.getX(), ...).execute();
}
这首先会破坏使用这种抽象的目的,因为第二种形式也可以使用DSLContext#batchStore 或DSLContext#batchInsert 重写。但是,IMO 批处理和批量插入不应由单个开发人员决定,并且应该能够在更高级别(例如由框架)透明地处理。
我发现jOOQ API 的可读性是使用它的一个惊人的好处,但它似乎不适合(据我所知)在诸如此类的情况下很好地拦截/扩展.是否有可能使用jOOQ 3.11.1(甚至是当前的)API,通过透明的批处理/批量处理获得类似于前者的行为?这意味着什么?
编辑:
为了实现商店的透明批处理,想到的一种可能但非常老套的解决方案如下:
- 创建一个
RecordListener,并将其作为默认值添加到Configuration,只要启用批处理。 - 在
RecordListener#storeStart中,将查询添加到当前事务的批次中(例如在ThreadLocal<List>中) -
AbstractRecord有一个changed标志,在存储之前会检查它(org.jooq.impl.UpdatableRecordImpl#store0、org.jooq.impl.TableRecordImpl#addChangedValues)。重置它(并将其保存以供以后使用)使存储操作成为空操作。 - 最后,在方法调用成功但在提交之前:
- 将各个记录的
changes标志重置为正确的值 - 调用
org.jooq.UpdatableRecord#store,这次不使用RecordListener或跳过storeStart方法(可能使用另一个ThreadLocal标志来检查是否已执行批处理)。
据我所知,这种方法应该在理论上可行。显然,如果代码依赖反射来工作,库内部可能随时发生变化,因此它非常 hacky 并且容易崩溃。
有谁知道更好的方法,只使用公共jOOQ API?
【问题讨论】:
-
为了记录,我将同样的问题发布到jOOQ user group。我很可能应该直接把它贴在那里。我会用我在那里学到的任何信息更新这篇文章。
标签: spring spring-boot spring-jdbc jooq