如何从网页下载动态生成的内容？

Question

我正在尝试从动态生成的网页下载一些数据，因此使用 wget 不起作用。该页面是http://gaceta.diputados.gob.mx/SIL/Legislaturas/Listados.html 我想下载每个选项显示的列表，一旦下载，可以在“Legislatura”字段中选择这些选项我可以在 ruby​​ 中处理数据。

只是想知道下载此文件的最佳方式是什么，以及是否可以选择每个选项并下载。

Answer 1

您可以使用 Safari 或 Chrome 中的 Web Inspector 或 Firefox 中的 Firebug 扩展来查看数据是如何加载的。该页面正在为此网站的 Perl 脚本执行 AJAX POST 请求，数据以 XML 形式返回。

我会使用 cURL 来获取数据。

Answer 2

您可以使用http://watir.com/ 或 webrat 来模拟查看数据的操作，然后使用 Nokogiri 解析 HTML。