PHP抓取动态加载的内容答案

【问题标题】：PHP scraping dynamically loaded contentPHP抓取动态加载的内容
【发布时间】：2012-04-15 08:29:54
【问题描述】：

我正在尝试从网站上抓取文章标题，但是此页面仅加载前五个标题，并且在用户向下滚动页面时加载更多（JSON 调用更多文章并注入页面）。

我构建的网络爬虫完美运行，但只能找到前 5 篇默认文章，而我想要实现的是加载超过 5 篇。有没有使用 PHP 实现的方法，如果你能解释我为什么/如何工作我真的很感激，因为我喜欢学习这些东西。

【问题讨论】：

【解决方案1】：

您可以使用 chrome 的网络监视器记录 ajax 请求的来源，然后从您的 webscraper 请求这些请求，但这确实是一个“make shift api”，如果站点更改为 json 格式，您可以使用php函数json_decode解码json。

为了首先检索数据，您必须使用 file_get_contents

但这只会允许 GET 如果您想要更多“高级”选项（例如 POST ），则必须查看 cURL

【讨论】：

所以你建议模仿文章网站中的调用以返回下一个结果？
这确实是我的建议，但这是一项棘手的业务，因为实际上并没有任何数据合同。寻找可用的 rss 提要或 api 可能会更好，但我想这不是你的 webscraper 背后的想法。
是的，我可以看到它会如何更好地工作，但到目前为止，还没有可用于此目的的提要/api。因此，使用 json-decode 将允许我与网页中发生的向下滚动调用进行交互，或者必须执行该部分，然后 php 将解码结果？
好的，感谢您的关注，您的回答将被标记为接受，因为您的回答让我对这种方法有了更好的了解。
@user524695 json_decode 函数将允许您将从源返回的 json 字符串解码为可用的数组或对象。您在相关网站上看到的是 js 或 jquery 与 self api 交互。如果您可以模仿从 js 传递到 api 的参数，那么您可以使用 json_decode 对结果进行解码，但是如果没有指向该站点的链接，我们无法给出完整的答案，只能给出建议；0