如何使用 curl 从其他网站搜索数据

Question

您好，我如何使用 curl 和 php 从其他网站搜索数据。我想从这个网站搜索imei号码https://www.example.com/xxx

这是我迄今为止尝试过的

$imei = '013887009861498';

$cookie_file_path = "cookies/cookiejar.txt"; 
$fp = fopen("$cookie_file_path","w") or die("<BR><B>Unable to open cookie file $mycookiefile for write!<BR>");
fclose($fp); 


    $url="https://example.com/xxx"; 
    $agent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; .NET CLR 1.1.4322)";
        $ch = curl_init(); 
        curl_setopt($ch, CURLOPT_URL,$url);
        curl_setopt($ch, CURLOPT_POST, 1);
        curl_setopt($ch, CURLOPT_POSTFIELDS,$imei);
        curl_setopt($ch, CURLOPT_USERAGENT, $agent);
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
        curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
        curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
        curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file_path);
        curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file_path);
        $result = curl_exec ($ch);

        echo $result ;

Answer 1

（这不是一个完整的答案，但太长了无法发表评论。我不能为你弄清楚所有的小细节）

这里有几个不同的问题，第一个是如何用php/curl做一个POST请求，你可以找到一个例子here。

另一个问题，是如何在 PHP 中解析 HTML，其中列出了几个选项here。 （我强烈推荐 DOMDocument 和 DOMXPath 组合）

另一个问题是如何克服 PHP 中的 CAPTCHA 挑战，一种解决方案是使用 deathbycaptcha API（顺便说一句，这是一项付费服务​​），您可以找到一个示例 here。

另一个问题是他们使用了 3 个不同的类似 CSRF 的令牌，称为 __VIEWSTATE、__EVENTVALIDATION 和 hdnCaptchaInstance，所有这些都必须解析出来并与验证码答案一起提交。您还需要处理 cookie，因为 CSRF 令牌和验证码与您的 cookie 会话相关联（幸运的是，您可以让 curl 使用 CURLOPT_COOKIEFILE 自动处理 cookie）