为什么 CURL 不能在像 facebook 这样的页面上运行？

Question

我正在尝试学习如何构建一个从群组获取信息的 facebook 群组爬虫（来自群组的帖子列表，其中包含帖子的作者、帖子 ID、发布日期等信息。

对我来说，重要的是要声明我正处于页面抓取研究的开始阶段！

从这个页面找到了一个很好的教程： http://www.oooff.com/php-scripts/basic-curl-scraping-php/basic-scraping-with-curl.php

运行这段代码时：

<?php
    $url = "http://www.oooff.com/";

    $ch = curl_init($url);                              // initialize the CURL library in my PHP script so we can later work on it - inside the handler. 
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);     // curl_setopt() function is used to set options on the $ch handler.// in this case we use the CURLOPT_RETURNTRANSFER option 
    $curl_scraped_page = curl_exec($ch);                //  "run all the stuff we've set" - return the data scraped to the variable $curl_scraped_page
    curl_close($ch);



    echo $curl_scraped_page;
?>

它可以工作，但有时当我运行它时，我会得到一个空白页。
当我在 facebook 上运行它时（或者更具体地在 FB 组上运行，因为这是我需要的），我得到一个空白页。我尝试在 yahoo.com 上运行它，我得到了相同的结果。

• 为什么会这样？
• 获取页面内容的正确方法是什么？

Answer 1

如果您主要对 facebook 内容感兴趣，您可以使用 facebook api for php： https://developers.facebook.com/docs/reference/php/

CURL 只加载文件内容，不运行网页的 JavaScript。

根据Vivin Paliath answer PhantomJs 可能是从 JavaScript 网页获取内容的好方法：

[...] PhantomJS 是一个无头 WebKit 浏览器。它有自己的 API，可让您“编写”行为。所以你可以告诉 PhantomJS 加载页面并转储出你需要的数据。