屏幕抓取 Python 中基于 Javascript 的网页

Question

我正在使用 Python 开发屏幕抓取工具。但是，当我查看网页的源代码时，我注意到大部分数据都来自 Javascript。

任何想法，如何抓取基于 javascript 的网页？ Python中有什么工具吗？

谢谢

Answer 1

使用selenium 可以抓取基于javascript 的网页。特别是，试试Selenium WebDriver。

Answer 2

您可以使用PyQt4 库的QtWebKit 模块

Answer 3

我使用 webkit，它是 Chrome 和 Safari 背后的浏览器渲染器。有Python bindings to webkit through Qt。

这是一个完整的Python example to execute JavaScript and extract the final HTML。