使用 php curl 抓取动态加载的网站答案

【问题标题】：Scraping a dynamically loading website with php curl使用 php curl 抓取动态加载的网站
【发布时间】：2018-08-09 12:04:16
【问题描述】：

我是爬虫新手，已经正式报废了两个网站。但是当我尝试抓取动态加载网站时，问题出现了。当网站使用 JavaScript 渲染时，我无法抓取网站的内容。

我有什么方法可以使用php curl 或与PHP 相关的任何其他客户端来抓取该网站的内容？

这是我到目前为止所做的：

$link = "https://www.glassdoor.com/Job/jobs.htm?suggestCount=0&suggestChosen=false&clickSource=searchBtn&typedKeyword=android+developer&sc.keyword=android+developer&locT=N&locId=192&jobType=";

$ch = curl_init();
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch,CURLOPT_URL,$link);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/525.13 (KHTML, like Gecko) Chrome/0.A.B.C Safari/525.13");
$data = curl_exec($ch);


$document = new DOMdocument();
libxml_use_internal_errors(true);
$document->loadHTML($data);
$elements = $document->getElementsByTagName("div");

foreach($elements as $element){
  	echo $element->nodeValue."<br>";;
}

【问题讨论】：

请做一些研究...google.com/search?q=scrape+website+populated+by+javascript

标签： php php-curl

【解决方案1】：

你需要无头浏览器，你可以使用 PHP Wrapper for PhantomJS，这里是链接http://jonnnnyw.github.io/php-phantomjs/。这将解决您的问题。它具有以下特点：

通过 PhantomJS 无头浏览器加载网页
查看详细的响应数据，包括页面内容、标题、状态码等。
处理重定向
查看 javascript 控制台错误

希望这会有所帮助。

【讨论】：