网页抓取动态内容

Question

我正在尝试从几个站点（mega.nz、openlaod.co）抓取信息，并且内容是动态加载的，因此我实际使用的代码不起作用

 <?php

    require 'simple_html_dom.php';

    $ch = curl_init();
    curl_setopt($ch,  CURLOPT_URL,"https://openload.co/f/41I9Ak_QBxw/DPLA.mp4");
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 0);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);

    $response = curl_exec($ch);
    curl_close($ch);

    echo $response;
    $html = new simple_html_dom();
    $html->load($response);


    foreach ($html->find('img[id=imagedisplay]') as $key ) {
        echo $key;
    }



?> 

当我在 openload 上使用它时（如上面的示例），它会将我重定向到“https://oload.download/scraping/”，即“/scraping”我的脚本所在的文件夹。

是否有任何 javascript/jquery 框架（或 php）可以用来即时抓取内容？？

Answer 1

它不适合大量的抓取，但过去当我需要从动态网页中抓取一些基本数据时，我发现 Selenium 工作得很好。

根据您选择的堆栈，我建议您研究无头浏览器。这样您就可以在后台渲染页面并解析生成的 HTML。