使用 Python 抓取 *.aspx 内容答案

【问题标题】：Scraping *.aspx content using Python使用 Python 抓取 *.aspx 内容
【发布时间】：2011-02-14 01:07:55
【问题描述】：

我在 ASPX 中抓取动态生成的表时遇到了困难。试图从GasPrices 这样的网站上刮取汽油价格。我可以提取 gas price 表中的所有信息（地址、提交时间等），但实际 gas 价格除外。

有什么办法可以降低汽油价格吗？即以某种方式获得它的文本表示。我对 ASP/ASPX 不是很熟悉——但现在生成的内容并没有出现在最终的 HTML 中。我正在使用 Python 进行抓取，但这无关紧要，除非有特定的库...

提前致谢。

【问题讨论】：

【解决方案1】：

~~页面的来源（aspx）在这里不是问题。~~

看起来他们正在积极尝试阻止抓取尝试。这些数字不是字体，而是几个 div 元素彼此相邻，background images 是数字。 他们真的不想被刮。

（当然，如果你真的确定你可以将 div 的类名映射到......它们没有很好地“加密”）

【讨论】：