使用python解析网页上的HTML和脚本？

Question

我目前正在使用 Beautiful Soup 来解析网页的 HTML。但是，我也想递归解析网页上的任何 .js 文件。我的目标是查找嵌入在网站的 HTML 或 javascript 中的某些 URL。我可以用基本的 HTML 页面来做，但是进入 javascript 文件让我很难过。有什么帮助吗？

Answer 1

按照this StackOverflow question 接受的答案中概述的步骤进行操作。然后，您可以使用例如优秀的requests library 来请求资源：

import requests

r = requests.get("http://ajax.googleapis.com/ajax/libs/jquery/1.7.1/jquery.min.js")

然后您可以搜索 r.text using regex 以找到您正在寻找的任何链接。

如果您仍需要解析 javascript，那么在您拥有 javascript 后，this StackOverflow question 的最新回答建议使用 slimit。