【发布时间】:2013-02-15 18:50:04
【问题描述】:
我在抓取 manta.com 页面时一次又一次地收到 cookie 消息 消息是 数组([文件] => 哎呀。 在继续之前,请激活您的浏览器 cookie。
我正在使用这样的 cookie
curl_setopt($ch, CURLOPT_TIMEOUT, CURL_TIMEOUT); // Timeout
curl_setopt($ch, CURLOPT_USERAGENT, WEBBOT_NAME); // Webbot name
curl_setopt($ch, CURLOPT_URL, $target); // Target site
curl_setopt($ch, CURLOPT_REFERER, $ref); // Referer value
curl_setopt($ch, CURLOPT_VERBOSE, FALSE); // Minimize logs
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE); // No certificate
curl_setopt($ch, CURLOPT_PROXY, '10.1.11.11:8080');
curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, 0);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, TRUE); // Follow redirects
curl_setopt($ch, CURLOPT_MAXREDIRS, 4); // Limit redirections to four
curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE); // Return in string
//curl_setopt($ch, CURLOPT_COOKIESESSION, TRUE);
【问题讨论】:
-
@balmy 不确定在一个 8 年前的低质量问题上修复一个小错字有多大用处...
标签: php cookies curl screen-scraping web-crawler