如何在php中获取包含外部API的网页

Question

我有一个 php 脚本，它加载 this 网页以从它的表格中提取一些数据。
以下方法无法获取其表格内容：

使用 file_get_contents：

$document -> file_get_contents("http://www.webpage.com/");
print_r($document);

使用 cURL：

$document = curl_init('http://www.webpage.com/');
curl_setopt($document, CURLOPT_RETURNTRANSFER, true);
$html = curl_exec($document);
print_r($html);

使用 loadHTMLFile：

$document->loadHTMLFile('http://www.webpage.com/');
print_r($document);

我不是 php 专家，除了第一种方法外，其他方法都是从 StackOverflow 的答案中复制的。
我做错了什么？
以及它们是如何阻止某些内容加载的？

Answer 1

所以也许考虑使用 curl 并模仿网站正在使用的相同 ajax 请求？当我搜索它时，这就是我发现的： Mimicking an ajax call with Curl PHP

Answer 2

不是您可能想听到的答案，但您描述的任何方法都不会像普通浏览器客户端那样评估 JavaScript 和其他浏览器资源。相反，这些方法中的每一个都只检索您指定的文件的内容。快速浏览一下您所定位的网站，可以清楚地看到这个有问题的表格是作为 AJAX 调用的结果填充的，而您尝试过的任何方法都无法评估。

您需要依赖具有这种模拟能力的库或脚本；即laravel/dusk，Selenium webdriver 的 PHP 绑定，或类似的东西。

Answer 3

这是我使用 php curl 从网页中抓取数据所做的：

    // Defining the basic cURL function
    function curl($url) {
        $ch = curl_init();  // Initialising cURL
        curl_setopt($ch, CURLOPT_URL, $url);    // Setting cURL's URL option with the $url variable passed into the function
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE); // Setting cURL's option to return the webpage data
        $data = curl_exec($ch); // Executing the cURL request and assigning the returned data to the $data variable
        curl_close($ch);    // Closing cURL
        return $data;   // Returning the data from the function
    }


// Defining the basic scraping function
    function scrape_between($data, $start, $end){
        $data = stristr($data, $start); // Stripping all data from before $start
        $data = substr($data, strlen($start));  // Stripping $start
        $stop = stripos($data, $end);   // Getting the position of the $end of the data to scrape
        $data = substr($data, 0, $stop);    // Stripping all data from after and including the $end of the data to scrape
        return $data;   // Returning the scraped data from the function
    }


$target_url = "https://www.somesite.com";
                                

$scraped_website = curl($target_url);  

$data_set_1 = scrape_between($scraped_website, "%before%", "%after%");
$data_set_2 = scrape_between($scraped_website, "%before%", "%after%");

%before% 和 %after% 是始终显示在网页上您希望抓取的数据之前和之后的数据。可以是 div 标签或其他一些您希望抓取的数据所独有的 html 标签。