使用 Laravel 队列时如何避免作业数据库表锁定问题？

Question

我正在使用 Laravel 5.1。

队列用于在多个系统之间获取/同步数据。

我使用数据库驱动，3个“artisan queue:work --daemon”进程一直在运行。

作业由系统用户和调度程序 (cron) 分派。三个队列用于确定作业的优先级。

一切似乎都运行良好 - 作业表中充满了记录，系统会处理它们并删除已完成的记录。

但是，一段时间后，锁定问题开始出现影响：

SQLSTATE[40001]: 序列化失败: 1213 Deadlock found when 试图获得锁；尝试重启事务

和

'RuntimeException' 带有消息'Can't swap PDO instance while inside 交易。'

和

SQLSTATE[HY000]：一般错误：1205 超过锁定等待超时；尝试 重启交易

我还没有尝试使用其他队列驱动程序。不过，我真的很想继续使用数据库。引擎是 InnoDB，jobs 表有默认结构和索引。

有没有办法解决这个问题？你有什么想法？

值得一提的是，我在作业类中调用了DB::reconnect()，因为队列工作人员作为守护进程运行。

正如人们所期望的那样，使用DispatchesJobs trait 调度作业。我不会以任何其他方式干扰队列算法。

Answer 1

我正在 Laravel 上编写队列管理系统，我有多个工作，我应该向多个用户发送电子邮件。我正在与主管一起运行许多工作人员，并避免向同一用户发送多封电子邮件，我编写了此代码。希望它能帮助解决这个问题的人

DB::transaction(function () use ($job) {

            if (!count($job->jobUsers()->sharedLock()->get())) { // to share reading ability btw multiple workers

                Log::info('There is no user in this job');
                $job->status = Job::STATUS_FINISHED;
                $job->save();
                return;

            }

            foreach ($job->jobUsers as $jobUser) {
                Log::info($jobUser->user_id);

                JobUser::where('job_id', $jobUser->job_id)
                    ->where('user_id', $jobUser->user_id)
                    ->lockForUpdate()  // exclusive lock
                    ->update(['status' => JobUser::STATUS_SENT]);
            }

        });

Answer 2

这可能不是答案，而是一些信息。

使用SELECT ... FOR UPDATE 语句时，您可能会观察到锁争用（死锁等）。

select … for update where x <= y

它使用

可以看到这个命令的问题：

SHOW ENGINE INNODB STATUS;

---TRANSACTION 72C, ACTIVE 755 sec
4 lock struct(s), heap size 1248, 3 row lock(s), undo log entries 1
MySQL thread id 3, OS thread handle 0x7f84a78ba700, query id 163 localhost msandbox
TABLE LOCK table test.t trx id 72C lock mode IX
RECORD LOCKS space id 19 page no 4 n bits 80 index age of table test.t trx id 72C lock_mode X
RECORD LOCKS space id 19 page no 3 n bits 80 index GEN_CLUST_INDEX of table test.t trx id 72C lock_mode X locks rec but not gap
RECORD LOCKS space id 19 page no 4 n bits 80 index age of table test.t trx id 72C lock_mode X locks gap before rec

最后一行

如果您的事务中有很多间隙锁会影响并发性和性能，您可以通过两种不同的方式禁用它们：

1- Change the ISOLATION level to READ COMMITTED. In this isolation level, it is normal and expected that query results can change during a transaction, so there is no need to create locks to prevent that from happening.

2- innodb_locks_unsafe_for_binlog = 1. Disables the gap locks except for foreign-key constraint checking or duplicate-key checking.

https://www.percona.com/blog/2012/03/27/innodbs-gap-locks/