request() 函数返回未定义的值

Question

所以我目前正在制作一个谷歌浏览器扩展程序，每当我所有课程的新成绩发布到我的大学成绩册时都会通知我，所以目前我正在尝试迭代地抓取和抓取 URL 并将其与最后一次迭代（...？对此的建议将不胜感激！），目前当我使用 request() 函数时，即使使用异步，该函数当前返回未定义的响应和正文，并给了我另一个奇怪的东西如果我尝试 console.log 所有这些错误。

这是我之后遇到的错误：

bundle.js:24 Uncaught TypeError: Cannot read property 'headers' of undefined
    at Request._callback (bundle.js:24)
    at self.callback (bundle.js:54273)
    at Request.EventEmitter.emit (bundle.js:95413)
    at Request.start (bundle.js:54842)
    at Request.end (bundle.js:55610)
    at end (bundle.js:54652)
    at bundle.js:54666
    at Item.run (bundle.js:103974)
    at drainQueue (bundle.js:103944)

这是我的代码（更改了网址，因此您看不到我学校的登录网址）：

var Crawler = require("simplecrawler"),
    url = require("url"),
    cheerio = require("cheerio"),
    request = require("request");

var initialURL = "https://www.fakeURL.com/";


var crawler = new Crawler(initialURL);

request("https://www.fakeURL.com/", {
    // The jar option isn't necessary for simplecrawler integration, but it's
    // the easiest way to have request remember the session cookie between this
    // request and the next
    jar: true,
    mode: 'no-cors'
}, function(error, response, body) {
    // Start by saving the cookies. We'll likely be assigned a session cookie
    // straight off the bat, and then the server will remember the fact that
    // this session is logged in as user "iamauser" after we've successfully
    // logged in

    crawler.cookies.addFromHeaders(response.headers["set-cookie"]);

    // We want to get the names and values of all relevant inputs on the page,
    // so that any CSRF tokens or similar things are included in the POST
    // request
    var $ = cheerio.load(body),
        formDefaults = {},
        // You should adapt these selectors so that they target the
        // appropriate form and inputs
        formAction = $("#login").attr("action"),
        loginInputs = $("input");

    // We loop over the input elements and extract their names and values so
    // that we can include them in the login POST request
    loginInputs.each(function(i, input) {
        var inputName = $(input).attr("name"),
            inputValue = $(input).val();

        formDefaults[inputName] = inputValue;
    });

    // Time for the login request!
    request.post(url.resolve(initialURL, formAction), {
        // We can't be sure that all of the input fields have a correct default
        // value. Maybe the user has to tick a checkbox or something similar in
        // order to log in. This is something you have to find this out manually
        // by logging in to the site in your browser and inspecting in the
        // network panel of your favorite dev tools what parameters are included
        // in the request.
        form: Object.assign(formDefaults, {
            username: "secretusername",
            password: "secretpassword"
        }),
        // We want to include the saved cookies from the last request in this
        // one as well
        jar: true
    }, function(error, response, body) {
        // That should do it! We're now ready to start the crawler
        crawler.interval = 10000 //600000 // 10 minutes
        crawler.maxConcurrency = 1; // 1 active check at a time
        crawler.maxDepth = 5;
        crawler.start();
    });
});

crawler.on("fetchcomplete", function(queueItem, responseBuffer, response) {
    console.log("Fetched", queueItem.url, responseBuffer.toString());
});

// crawler.interval = 600000 // 10 minutes
// crawler.maxConcurrency = 1; // 1 active check at a time
// crawler.maxDepth = 5;
//
// crawler.start();

需要注意的一点是，我在请求中添加了“no-cors”模式，这样每当我测试这个时我就可以停止遇到 CORS 问题，但这可能是导致此问题的原因吗？

谢谢！

编辑：我正在使用 Browserify 在浏览器中使用 require() 东西。我无法从 bundle.js 发布实际代码，因为它非常长，不适合这里。只是想澄清一下。谢谢！

EDIT2：这是我尝试执行 console.log(error) 时得到的：

Error: Invalid value for opts.mode
    at new module.exports (bundle.js:108605)
    at Object.http.request (bundle.js:108428)
    at Object.https.request (bundle.js:97056)
    at Request.start (bundle.js:54843)
    at Request.end (bundle.js:55613)
    at end (bundle.js:54655)
    at bundle.js:54669
    at Item.run (bundle.js:103977)
    at drainQueue (bundle.js:103947)

Answer 1

正如 James 所说，如果您遇到错误，请通过将错误记录到控制台或您最喜欢的任何方法来显示调试信息来检查错误。

如果你得到Cannot read property 'headers' of undefined，正如你所说，response 是未定义的，所以你的第一个回调行将失败，因为它试图访问response.headers。

这里简单调试的方法是console.log() 错误，然后到达问题所在的行（因为它停在那里），因此您只需添加console.log(error); 作为回调的第一行。

要走的路：

尽管您可以解决您在console.log(error) 中看到的问题，但此代码注定要失败，因为您没有检查是否收到错误并假设请求已成功完成。网络连接很混乱，请求可能由于很多原因而失败，因此在访问 request.headers 之前，您必须检查是否发生任何错误并将其记录下来（或将其显示给您的客户端，在 X 秒后重试请求，无论如何你最喜欢）。

提示：如果您有带有错误参数的回调，请检查它。是否有第一个参数是有原因的。

代码将如下所示：

request("https://www.fakeURL.com/", {
    jar: true,
    mode: 'no-cors'
}, function(error, response, body) {
    if (error) {
        console.log(error);
        makeTheRequestAgainIn(5000); // Milliseconds
    } else {
        doWhateverWith(response, body);
    }
});

错误：

只是您不能在浏览器中禁用 CORS。您可以在 node.js 中禁用它，因为它不是浏览器，这就是为什么在请求模块中有一个选项，但浏览器有安全措施是有原因的。如果可以避免它们，那么它们就没有意义了。

简而言之：是的，如果您没有在服务器中启用 CORS，您就会遇到问题。

Protip：在浏览器中处理 JavaScript 时，打开开发人员工具 (F12) 是一种很好的做法，就像您一样，这样您就可以看到 CORS 错误自动记录在控制台（或发生任何网络错误）。此外，切换到 Network 选项卡并检查请求标头、响应等也是一个好习惯。

编辑： 刚刚注意到 Chrome 扩展程序的事情（当）。扩展的限制较少，因此可以进行这些调用，您可以在此处阅读：https://developer.chrome.com/extensions/xhr

另外，检查了request npm 模块source code 并且没有no-cors 值。我认为您将Request API 与request 模块混合在一起。