解析包含动态 javascript 对象的网页

Question

目前我正在使用 python 及其 urllib2、urllib 来检索一个简单的静态网页。在网页开发人员添加 java 脚本之前，一切都很顺利。现在最有趣的信息隐藏在脚本后面：

<a href="javascript://" class="event-more-view" id="view-moreid-12311" onclick="Markets.applyView(this);return false;" treeid="1291266" eventstate ="false" > add table </a>

浏览器预加载数据并在单击“a href”链接时显示它。 我的简短研究的结果是 JSOUP 和 HTMLunit。我在朝正确的方向挖掘吗？有什么优缺点吗？

python 会有帮助吗？我应该使用Java吗？哪些软件包可以帮助处理动态内容？什么更简单？

就我而言，我必须创建某种虚拟浏览器，因为内置脚本会随着时间的推移刷新必须处理的数据。

Answer 1

你正在朝正确的方向挖掘。

以下是一些可供考虑的选项/工具：

• ghost.py
• htmlunitjython 下
• selenium

另见：

• Click on a javascript link within python?
• Simulating clicking on a javascript link in python

希望对您有所帮助。