我可以使用 casperjs 和 phantomjs 读取 HTTP 请求吗

【问题标题】：Can I read HTTP Requests using casperjs and phantomjs我可以使用 casperjs 和 phantomjs 读取 HTTP 请求吗
【发布时间】：2013-11-10 10:28:49
【问题描述】：

我是 casperjs 和 phantomjs 的新手。我只是在运行一个爬虫来读取 HTTP 请求（可能正在使用 Fiddler 或网络调试器）。我只是想知道，我们可以在使用casperjs和phantomjs打开页面时获取http请求数据

【问题讨论】：

标签： web web-scraping phantomjs casperjs

【解决方案1】：

您可以使用onResourceRequested 获取所有进入的请求，包括标头。（您可以使用onResourceReceived 查看正在发送的标头。）

以下代码适用于 PhantomJS，向您展示了所有可用的内容。

var page = require('webpage').create();

page.onResourceRequested = function(requestData, networkRequest) 
{
    console.log(JSON.stringify(requestData));
};

page.onResourceReceived = function(response) 
{
    console.log(JSON.stringify(response));
};

page.open(url,function()
{
    phantom.exit();
});

对于 CasperJS，casper.page 用于同一件事（假设您创建了一个名为 casper 的对象）。

【讨论】：