当网页的“源代码”中不可见时，从 https://nforlanwebdmz.phs.org 抓取和提取数据答案

【问题标题】：Scrape and Extract data from https://nforlanwebdmz.phs.org when it is not visible in 'Source Code' of the webpage当网页的“源代码”中不可见时，从 https://nforlanwebdmz.phs.org 抓取和提取数据
【发布时间】：2017-02-04 17:39:05
【问题描述】：

我正在尝试编写一个自动化 PHP 脚本来从 URL https://nforlanwebdmz.phs.org/ltmprd/CandidateSelfService/controller.servlet?dataarea=ltmprd&context.session.key.HROrganization=90&context.session.key.JobBoard=EXTPHYS&context.session.key.noheader=true 中抓取并提取所有“作业 ID”（3262、3197、3196 等）。

但是，这似乎并不简单，因为所需的数据在网页的源代码中并不直接可见。我还尝试检查不同浏览器的“开发者工具->网络”，但找不到数据源。

任何帮助将不胜感激。

感谢和问候！

【问题讨论】：

标签： php web-scraping web-crawler data-extraction

【解决方案1】：

我查看了 Chrome 上的 Developer Tools>Network，发现了这个 API url： https://nforlanwebdmz.phs.org/ltmprd/soapExt/ldrest/JobPosting/JobPostingListWebServices_ListOperation?JobBoard=EXTPHYS&LocationOfJob=+&Category=+&WorkType=+&JobRequisition=+&Description_translation_=+&JobPosting=+&PostingStatus=2&PostingDateRange.Begin=+&PostingDateRange.End=+&JobRequisitionPriority=+&csk.IsoLocale=en&HROrganization=90&limit=-1&=1486230138234

“Job ID”是 JSON 数据中的“JobRequisition”

【讨论】：

是的 Afif @afifzafri，这确实是我正在寻找的 URL。但是你能告诉我，我在 Chrome 上的开发者工具->网络中找不到相同 URL 的原因是什么？您是否在开发者工具中使用任何特殊过滤器？谢谢！
我不知道你为什么没有得到这个网址。不，我没有在开发者工具中使用任何特殊的过滤器。我所做的只是打开您提供的链接，然后打开开发人员工具>网络，然后选择/单击“XHR”选项卡并重新加载页面。然后等到页面完全加载。尝试多次，有时开发工具无法正确“捕获” url
您能告诉我您使用的是哪个版本的 Chrome 吗？我的版本是 55.0.2883.87 m。谢谢！
奇怪，但我在 Chrome 和 Firefox [51.0.1 (32-bit)] 中都没有看到这个特定的 API URL。
是的，我也在使用相同的 Chrome 版本，版本 55.0.2883.87 m（64 位）

【解决方案2】：

尝试 SimpleHTMLDom 从任何 dom 对象中抓取日期。下载链接来自http://sourceforge.net/projects/simplehtmldom/

【讨论】：