使用多个变量并发 Laravel 队列

Question

我的用例：

我的应用程序将有任意数量的用户，每个用户都有他们想要处理的各种作业。这些工作应该能够同时发生——无论如何，其中一些工作。

因此，例如，如果 User1 通过 UpdateStock 和 CompleteSale 之类的命令发送，而 User2 通过 UpdateStock 之类的命令发送，则这些命令中的每一个都需要排队并允许彼此同时运行。

我一直在研究Laravel Queues，看起来，如果我将所有 3 个作业放入一个队列中，它们一次只能运行一个，但如果我将它们放入 3 个不同的队列中，它们' d 都可以同时运行。 我理解的对吗？

那么这就引出了我的下一个问题：我需要一个队列，每个用户，每个命令。但是当然，新用户一直在注册，如果我需要运行php artisan queue:listen --queue=user1:command1 & php artisan queue:listen --queue=user1:command2 & php artisan queue:listen --queue=user2:command1 ... 来让它工作，那么......这怎么可能？什么时候可以随时添加新用户...

我的意思是我可以编写一些 php，在每次向队列中添加某些内容后以编程方式执行 php artisan queue:listen --queue=userx:commandx，但我不确定这是否有意义。如果该命令已经运行了怎么办——它会有 2 个进程试图处理同一个队列吗？

也许我想错了。我对整件事感到有点失落。我可以参考一些建议。

Answer 1

回答第一点：是的，如果你有 3 个队列，每个队列都会同时处理，前提是每个队列都有 Queue 工作人员监听。

至于场景的其余部分，听起来需要另一种方法

一个队列，每个用户，每个命令

听起来有点矫枉过正！

根据我的经验，我建议使用一些队列，例如“低”、“默认”和“高”优先级队列，优先级较高的队列有更多的工作人员（并且可能等待更短的时间）。如果您在 linux 环境中运行，您可以使用诸如 supervisor 之类的程序来配置这些。

[program:high-priority-worker]
process_name=%(program_name)s_%(process_num)02d
command=php /var/www/app/artisan queue:work redis --sleep=3 --tries=3 --queue=high
autostart=true
autorestart=true
user=user
startsecs=0
numprocs=8
redirect_stderr=true
stdout_logfile=/var/log/www/app/worker.log

[program:default-priority-worker]
process_name=%(program_name)s_%(process_num)02d
command=php /var/www/app/artisan queue:work redis --sleep=3 --tries=3
autostart=true
autorestart=true
user=user
startsecs=0
numprocs=4
redirect_stderr=true
stdout_logfile=/var/log/www/app/worker.log

[program:low-priority-worker]
process_name=%(program_name)s_%(process_num)02d
command=php /var/www/app/artisan queue:work redis --sleep=3 --tries=3 --queue=low
autostart=true
autorestart=true
user=user
startsecs=0
numprocs=2
redirect_stderr=true
stdout_logfile=/var/log/www/app/worker.log

---

如果您担心确保按顺序执行一系列作业，您可能还想研究作业链 (https://laravel.com/docs/6.x/queues#job-chaining)

Answer 2

如果我将所有 3 个作业放入一个队列中，它们只会在 一次，但如果我将它们放入 3 个不同的队列中，它们都可以 同时运行。我理解的对吗？

是的，如果您只有一个队列，作业将依次排列。

您在这里真正谈论的是缩放。

我认为大多数人会这样做的方式是有足够的队列。然后能够扩大规模。您自己提出的建议（为每个新用户启动队列）也是一种选择。 为同一个队列设置多个侦听器会给您带来问题。几年前我错误地这样做了，并且这些作业可能没有被“锁定”，这意味着同一个作业会被执行多次。

Laravel Horizon 为您带来平衡选项，这意味着您可以让新工作进入空闲队列。因此，您不必为每个用户指定一个队列。

如果您需要完全并发（作业必须在准确同一时间开始），那么这种意义上的平衡可能是不够的。

虽然让多个队列更新相同的库存编号听起来有点冒险。我可以想到一些数据库锁定问题和可能的竞争条件。

为了给您更具体的建议，我需要了解为什么在您的案例/示例中每个用户需要一个队列。