如何使这个 PHP 脚本运行得更快/异步？答案

【问题标题】：How can I make this PHP script run faster/asynchronously?如何使这个 PHP 脚本运行得更快/异步？
【发布时间】：2018-11-24 11:20:08
【问题描述】：

我有一个 pastebin 刮板脚本，旨在查找泄露的电子邮件和密码，以创建像 HaveIBeenPwned 这样的网站。

这是我的脚本正在执行的操作：
- 从https://psbdmp.ws/dumps刮掉Pastebin链接
- 使用此 Random Proxy API 获取随机代理（因为如果您敲击太多请求，Pastebin 会禁止您的 IP）：https://api.getproxylist.com/proxy
- 对 Pastebin 链接执行 CURL 请求，然后执行 preg_match_all 以查找格式为 email:password 的所有电子邮件地址和密码。

实际脚本似乎工作正常，但优化不够，一段时间后给我一个 524 超时错误，我怀疑这是因为所有这些 CURL 请求。

这是我的代码:
api.php

    function comboScrape_CURL($url) {
    // Get random proxy
    $proxies->json = file_get_contents("https://api.getproxylist.com/proxy");
    $proxies->decoded = json_decode($proxies->json);
    $proxy = $proxies->decoded->ip.':'.$proxies->decoded->port;
    list($ip,$port) = explode(':', $proxy);

    // Crawl with proxy
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL,$url);
    curl_setopt($ch, CURLOPT_PROXY, $proxy);
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_HEADER, 1);
    $curl_scraped_page = curl_exec($ch);
    curl_close($ch);
    comboScrape('email:pass',$curl_scraped_page);
}

index.php

require('api.php');
$expression = "/(?:https\:\/\/pastebin\.com\/\w+)/";

$extension = ['','1','2','3','4','5','6','7','8','9','10','11','12','13','14','15','16','17','18','19','20'];
foreach($extension as $pge_number) {
    $dumps = file_get_contents("https://psbdmp.ws/dumps/".$pge_number);
    preg_match_all($expression,$dumps,$urls);
    $codes = str_replace('https://pastebin.com/','',$urls[0]);
    foreach ($codes as $code) {
        comboScrape_CURL("https://pastebin.com/raw/".$code);
    }
}

【问题讨论】：

because Pastebin bans your IP if you hammer too many requests PS，您可以购买 Pastebin.com Pro 帐户，并且可以访问不受限制的抓取。
我已经尝试使用代理打开 pastebin，它可以工作，但是一旦我尝试使用代理 API，就会停止。
如果您购买 pastebin.com 专业帐户，您可以访问抓取 api (pastebin.com/doc_scraping_api)，每天可以获取大约 86400 个粘贴，而不会被禁止 IP。
谢谢，@hanshenrik，最后还是买了 PRO :)

标签： php regex curl php-curl pastebin

【解决方案1】：

524 timeout error - 错误，您似乎在 Web 服务器后面运行 php（apache？nginx？lighthttpd？IIS？）不要那样做，而是从 php-cli 运行您的代码，php-cli 可以无限期运行并且永远不会超时。

because Pastebin bans your IP if you hammer too many requests - 改为购买 pastebin.com 专业帐户（https://pastebin.com/pro），费用约为 50 美元（或圣诞节和黑色星期五前后 20 美元），并且是一次性付款的终身帐户，并为您提供访问抓取 api (https://pastebin.com/doc_scraping_api)，使用抓取 api，您可以每秒获取大约 1 个粘贴，或每天 86400 个粘贴，而不会被禁止 ip。

并且由于 pastebin.com 的速率限制，无需通过多个连接异步执行此操作（这是可能的，但不值得麻烦。但是，如果您确实需要这样做，则必须使用 @ 987654323@)

【讨论】：

感谢帮助，最后还是买了PRO :)