不能对外部 URL 使用 loadHTMLfile 或 file_get_contents

Question

我想知道 Groupon 的活跃交易，所以我写了一个像这样的爬虫：

libxml_use_internal_errors(true);

$dom = new DOMDocument();
@$dom->loadHTMLFile('https://www.groupon.com/browse/new-york?category=food-and-drink&minPrice=1&maxPrice=999');
$xpath = new DOMXPath($dom);
$entries = $xpath->query("//li[@class='slot']//a/@href");
foreach($entries as $e) {
  echo $e->textContent . '<br />';
}

但是当我一直运行这个函数时，浏览器加载，只是加载了一些东西，但没有显示任何错误。

我该如何解决？不只是 Groupon 的情况——我也尝试过其他网站，但也不起作用。为什么？

Answer 1

如何使用 CURL 加载页面数据。

Not just case with Groupon - I also try other websites but also don't work

我认为这段代码会对您有所帮助，但您应该预料到每个要废弃的网站都会出现意外情况。

<?php

$dom = new DOMDocument();
$data = get_url_content('https://www.groupon.com', true);
@$dom->loadHTML($data);
$xpath = new DOMXPath($dom);
$entries = $xpath->query("//label");

foreach($entries as $e) {
    echo $e->textContent . '<br />';
}


function get_url_content($url = null, $justBody = true)
{

    /* Init CURL */
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_HEADER, 1);
    curl_setopt($ch, CURLOPT_HTTP_VERSION, CURL_HTTP_VERSION_1_1);
    curl_setopt($ch, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']);
    curl_setopt($ch, CURLOPT_HTTPHEADER, []);
    $data = curl_exec($ch);
    if ($justBody)
        $data = @(explode("\r\n\r\n", $data, 2))[1];

    var_dump($data);
    return $data;
}