【问题标题】:cURLlib/File_get_contents only loading partial datacURLlib/File_get_contents 只加载部分数据
【发布时间】:2014-01-26 23:14:58
【问题描述】:

所以我正在做一个小项目,我想从另一个网站获取一些数据。在做了一些阅读之后,我想我应该使用 cURL lib (& get_file_contents()) - 但显然它并不那么容易。
在我的情况下,我想要一个表中包含的一些数据@http://www.nasdaqomxnordic.com/news/companynews
但问题是,它只将网站的一部分返回给我——我丢失了所有表格数据和大部分 css(不是我关心 css)。

到目前为止,我已经尝试过simple_html_domcURLfile_get_contents($url) 和其他几个解析器,它们似乎都只返回部分数据。我现在用了几个小时,但似乎没有任何进展。

我目前正在使用下面的代码来检索网站。

function curl($url) {
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    $data = curl_exec($ch);
    curl_close($ch);
    return $data;
}

它返回给我这样的东西 - http://imgur.com/F1F74VT
非常感谢一些帮助,我正要撞到什么东西 - 没有人喜欢清理血液:)

编辑
所以我做了一些更多的挖掘,似乎是因为网站上的大部分内容都是动态加载的。

那么我现在有什么选择?我设法获得了获取数据的 HTTP GET 请求 - 但我不确定我的下一步是什么:)

【问题讨论】:

    标签: php css curl file-get-contents


    【解决方案1】:

    如果您不以编程方式执行此操作,那么我建议您使用任何站点抓取工具或软件之类的下载管理器。

    但如果必须使用代码,那么这是我的建议。使用curlfile_get_contents 获取html 内容,然后将javascriptcss 的相对链接(/xyz/mycss.css) 替换为绝对(http://www.site.com/xyz/mycss.css) 链接。但它仍然不是一个 100% 完美的解决方案。

    这并不像您最初想象的那么简单。这时候你已经意识到了。

    【讨论】:

    • 是的,我很快意识到,遗憾的是我没有找到真正解决问题的方法——但无论如何我都设法解决了这个问题。我查看了该站点发送的所有 HTTP 请求,并设法找到了获得所需信息的请求。当我有了它时,我只是用 cURL 请求它,我的“问题”就解决了。但无论如何感谢您的回答:)
    猜你喜欢
    • 2011-06-28
    • 2010-12-15
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2016-06-20
    • 1970-01-01
    • 2012-04-04
    • 1970-01-01
    相关资源
    最近更新 更多