是否可以从基于 JavaScript 的网站获取数据？

Question

例如，我想从http://www.peapod.com等网站获取一些产品详细信息

我可以通过搜索获得所有简洁的产品信息。例如，在搜索“奶酪”时，我可以获得所有此类产品的重量和价格。但是如果我想获得更详细的数据，我需要点击每个产品的链接，我可以从网络浏览器中做到这一点，但是当我试图从 html 文件中做到这一点时，我得到的唯一链接信息是表单“javascript: ntn (product_id, some_int)。”

真正的http链接是http://www.peapod.com/itemDetailView.jhtml?productId=106871&NUM=1352479733231的形式，第一个数字是产品ID，第二个数字（我猜）是会话ID。我可以通过其 JavaScript 调用从父页面中的链接地址中找到产品 id，但是如何获取会话 id？

当我尝试下载搜索页面时，我得到了一堆 js 文件，我想这些 js 文件可以帮助我获取会话 ID。但是我不知道如何调用这些js文件。

请帮助我。非常感谢！

Answer 1

与其尝试编写一些东西来调用 JavaScript 函数，不如使用 Fiddler 之类的工具来查看单击这些链接时会发生什么。最有可能的是，这些函数所做的是发出一个 HTTP 请求来检索要显示的数据。与使用屏幕抓取技术相比，您的应用程序发出相同的 HTTP 请求并提取数据会容易得多。