使用 PHP 抓取网站 [重复]答案

【问题标题】：Scraping a website with PHP [duplicate]使用 PHP 抓取网站 [重复]
【发布时间】：2011-11-12 21:51:14
【问题描述】：

可能重复：
Scrape web page contents
How to scrape all content from a website?

我正试图从covers.com 网站上抓取一些 boxscore 数据，但我终其一生都不知道该怎么做。我想从某个日期获取 boxscores，但当我使用 simplehtmldom 包中的 file_get_html 时，页面默认为今天游戏的视图状态。关于如何获取某天游戏的网址的任何想法？提前致谢！

【问题讨论】：

stackoverflow.com/questions/2980519/… stackoverflow.com/questions/584826/scrape-web-page-contents stackoverflow.com/questions/5779623/… 等等

标签： php dom scraper

【解决方案1】：

仅仅加载 HTML 页面对您没有帮助。大多数数据是通过 AJAX 提取的。要找出在哪些 URL 下使用 Firebug 或 Dragonfly。查看网络请求选项卡，观察资源和请求参数。

（强制提示您应该有权抓取数据，除非出于科学和非商业目的。）

【讨论】：