使用kettle扩展，并发问题

Question

我假装扩展我的应用程序，并且该过程的某些部分包括由一些处理客户端同时运行水壶作业，在某些点转换需要对某个共享表执行组合查找（假设“clients_table”），这个表会增长很快，由于所有可能的客户都是未知的，所以他们被插入显示出来。在此表上同时执行作业（假设 2 个但可能不止于此，每个客户端每个客户端）的组合查找，由于我想在插入非现有客户端时出现“重复的条目键 xxx”错误（当组合查找时），它会出现并发问题没有在表中找到它们来检索它的 ID）。事实上，每次处理客户端执行水壶作业时都会转移新客户端，因此上述问题很常见。我想知道我是否打破了水壶哲学或者我遗漏了一些东西，我读过关于使水壶转换事务性，这可能是我的解决方案，因为我认为正在发生的事情是组合查找步骤不是事务性的？ 给我一些想法。

PS：我使用的是 Kettle 4.2 和 MySql 5.2

Answer 1

我最终为水壶制作了自己的事务组合查找插件（带有缓存管理），因为它使整个转换事务变得非常昂贵。