无法使 mariadb 中的 select+update 事务以原子方式执行

Question

我正在尝试通过使用 mariadb 中的“任务”表来并行化 python 脚本，其中每一行描述一个任务，并且我的脚本的每个运行实例都执行类似以下简化的 python + peewee 代码的操作：

with db.transaction() as txn: 
   result = list(Table.raw("select id from tasks where started=0 limit 1"))
   if len(result) == 0:
      sys.exit("nothing left to do")

   my_next_task = result[0]

   # mark this task as started
   Table.raw("update tasks set started=1 where id=%s" % my_next_task.id)

# process my_next_task

但是，当我同时启动脚本的 2 个实例时，它们都开始执行相同的任务。我是否误解了在这种情况下交易应该如何工作？

Answer 1

试试这个。以下代码保证只有1个线程在执行任务之前获取锁

1.您正在执行事务的事实，确保一次只有 1 个线程可以执行更新

2.注意，我们需要检查started = 0。这确保只有1个线程可以进行更新

with db.transaction() as txn: 
   result = list(Table.raw("select id from tasks where started=0 limit 1"))

   // The update query should return number of rows updated. So if a thread updates the task, it should return 1, which means it acquired a lock. If not, it means the thread didn't acquire the lock
   got_lock = Table.raw("update tasks set started=1 where id=%s and started = 0" % my_next_task.id) > 0 

   if len(result) == 0:
      sys.exit("nothing left to do")

   my_next_task = if(got_lock) result[0] else return