有没有办法捕获网站使用 python 进行的网络调用？答案

【问题标题】：is there a way to capture network calls a site makes using python?有没有办法捕获网站使用 python 进行的网络调用？
【发布时间】：2013-07-24 18:15:30
【问题描述】：

我查看了 urllib(2)、mechanize 和 Beautiful Soup，希望能找到一些可以捕获网络调用的东西，例如页面中的像素/信标触发。不幸的是，我对其中任何一个都不是很熟悉，也不太清楚如何进行搜索。

我想使用 python 来运行一系列网络 url，并捕获每个网络调用（也称为像素火灾）。有人知道我可以从什么方法或图书馆开始来完成这个吗？

查看了网页抓取，但我不想要 html，而是我相信我正在寻找网站发出的 GET 请求。

【问题讨论】：

【解决方案1】：

如果我了解您想要什么，您希望记录浏览器在显示页面时针对多个页面发出的请求。

您的选择是使用 python 编写浏览器脚本（请参阅：http://wiki.python.org/moin/WebBrowserProgramming），或使用 javascript 编写浏览器脚本，并以某种方式输出您的结果（我建议 JSON，通过请求或文件），然后分析他们在 python 中。

老实说，您可能会发现用 javascript 编写脚本更容易。

【讨论】：

【解决方案2】：

如果您可以访问 Firefox 网络浏览器，另一种可能性是安装 Firebug，这是一个强大的调试工具，让您可以选择在浏览器控制台中显示来自网页的所有网络流量。为了将控制台的输出传输到文件，您需要为 Firebug 安装 ConsoleExport 插件。

您现在可以将网页中的所有流量捕获到一个文件中，然后您可以使用 Python 解析该文件。

【讨论】：