【问题标题】:How should I go about writing a PHP script to copy a web page? [closed]我应该如何编写 PHP 脚本来复制网页? [关闭]
【发布时间】:2011-07-10 18:23:25
【问题描述】:

我想写一个 PHP 脚本,给定一个 URL,复制整个网页,包括图像、脚本、样式表等。

解决这个问题的最佳方法是什么,是否有教程可以指导我完成它?

我有一些 PHP 经验,但它主要基于表单、CMS、cookie 和数据库。我该如何开始这项任务?

【问题讨论】:

    标签: php web-scraping


    【解决方案1】:

    您可以通过以下方式获取任何页面的内容:

    $url = "http://www.thisistheurl.com/";
    $retries = 5;
    
    while($retries > 0)
    {
    $contents = @file_get_contents($url);
    if (strpos($http_response_headers[0],"200")
    {
    $retries = 0;
    }
    else {
    $retries--;
    }
    }
    

    然后您将整个页面都放在变量内容中,您可以按原样显示它,也可以使用DOMDocument 解析它

    【讨论】:

    • 那太好了,您对下载图片、样式表、脚本等有什么建议吗?
    • 是的,在解析 DOMDocument 的过程中,如果你看的话,你可以找到 getElementsByTagName 函数,所以你拉取所有的脚本和链接标签,并使用相同的方法下载这些 url。此外,每当我像这样在外部站点之间获取内容时,我总是将其设为一个类,以便您可以将其设置为高于 $this->downloadContents($file);你会有一个 $this->getScripts() 等的函数。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2013-09-01
    • 2023-04-03
    • 1970-01-01
    • 2012-11-01
    • 1970-01-01
    • 2016-08-04
    相关资源
    最近更新 更多