如何通过python从源页面中提取由javascript创建的隐藏标签答案

【问题标题】：How to extract hidden tags created by javascript from source page by python如何通过python从源页面中提取由javascript创建的隐藏标签
【发布时间】：2014-09-29 13:49:16
【问题描述】：

我有 THIST 页面，其中包含一些 javascript。您可以通过单击show details 来查看它们。

那么我怎样才能从那个 url 源中提取这些数据呢？

使用re?我在 re 中尝试的是：

import urllib
import re
gdoc = urllib.urlopen('ThatURL').read()
scriptlis = re.findall('(?si)<script>(.*?)</script>', gdoc)
print scriptlis

但没有回应...

使用硒？这种情况下怎么办？

import lxml
out=lxml.html.tostring(lxml.html.parse('ThatURL'))
.
.
.
?

【问题讨论】：

标签： javascript python html selenium xpath

【解决方案1】：

当页面使用脚本生成内容时，很难抓取。您需要一个能够在文档上执行脚本的完整虚拟环境，而不是普通的 html 阅读。

对于 python，有 ghost.py。它非常灵活，允许您检查完全呈现的网站，以及执行您自己的 javascript 以与页面交互。

ghost.py 是phantom.js 的python 克隆，node 库。在我看来，第二个工具更胜一筹，但它不是为 python 编写的。

【讨论】：

谢谢...我应该如何在这个线程中使用它来提取数据？

【解决方案2】：

你可以试试这个

re.findall('<script.*>.*</script>',url_file)

【讨论】：