大量 PHP 进程同时运行

Question

要求

我有一个网络应用程序，它允许用户安排一些社交媒体任务，例如在 Facebook 或 Twitter 上发帖。

每个用户都可以让应用随时（14:00、15:11、17:54...）在他的社交媒体帐户上发布。

除此之外，我还需要每天为每个用户完成其他任务，例如获取他们的关注者/朋友或在 Twitter 上取消关注他们的人。

情况

到目前为止，我已经为每个任务创建了一个文件（post.php、getFollowers.php、analytics.php...）。例如：

post.php

我为此脚本创建了一个 cron 作业，它每分钟检查是否必须发布某些帖子。假设我们运行脚本，此时它找到了三个想要发推文的用户，它将使用 foreach 循环迭代用户并在每个帐户中发帖。

...其他脚本也这样做：获取每个想要做某事的用户，创建一个队列并对其进行迭代。

问题

1. 发布任务需要按时完成。
2. 获取关注者之类的长任务需要每天运行。

(1) Twitter 和 Facebook 发帖需要 30-40 秒，所以如果有 5 个用户想在 14:00 发帖，那么 3、4 和 5 就晚了。

(2) 获得一个用户的一些追随者需要 40-60 秒，因此只有 1000 个用户，脚本将花费 11-16 小时，这绝对是不可扩展的。我应该能够在 2-3 小时内完成这项任务。

解决方案？

我认为我可以通过分离用户任务并为每个用户执行一个进程来解决这两个问题。

这是一个正确且可扩展的解决方案吗？您将如何以可扩展的方式解决这些问题？

提前致谢。

Answer 1

使用队列和工作器系统。

队列，例如：Amazon SQS：

1. 用户将事情安排在 X 时间发生。
2. cron 定期运行，查找需要运行的作业。
3. cron 脚本将作业弹出到队列中。

工人：

1. 向队列询问作业
2. 做这项工作
3. 转到 1

诀窍是你有一个队列，然后有尽可能多的工作进程/服务器来防止队列持续增长。

Answer 2

使用托管的分布式计划任务服务，例如 AWS Elastic Beanstalk Worker Tier 或 IronWorker。

使用 AWS EB，您可以在项目中包含一个 cron.yaml 文件，其中包含如下配置：

version: 1
cron:
 - name: "post"
   url: "/post"
   schedule: "* * * * *"

这将触发每分钟对http://localhost/post 的 POST 请求。

我还建议计划任务本身不发送帖子，而是触发其他多个任务这样做。使用 AWS EB，您可以使用 AWS SDK for PHP：

use Aws\Common\Aws;

$aws = Aws::factory('/path/to/my_config.json');
$client = $aws->get('Sqs');

$client->sendMessage(array(
    'QueueUrl'     => $queueUrl,
    'MessageBody'  => json_encode($post),
    'DelaySeconds' => $delay,
));

对于正文中包含 JSON 编码数据的每条消息，这将触发对您为 Worker Tier 配置的 URL（即http://localhost/worker）的 POST 请求。

这种方法可以让您更好地扩展同时发送的帖子数量。